阿里云文档 2025-12-09

系统规则模板和自定义规则模板

为了减少书写Spec时的工作量,数据质量提供了数据质量规则模板能力,系统内置了一批常用的规则模板,您也可以创建自定义的规则模板,这些模板中固化了Spec所需的大部分设置。在使用模板创建规则时,只需要在模板基础之上,设置额外的配置即可。

阿里云文档 2025-08-22

订阅Serverless Spark工作流系统事件通知

EMR Serverless Spark已接入云监控平台,您可以通过事件订阅对重要的事件设置定制化的报警通知,让您及时了解事件的发生与进展,帮助您实时掌握事件动态,便于您在业务故障时快速分析并定位问题。

阿里云文档 2025-08-19

支持的预设的系统权限策略列表

本文描述云原生大数据计算服务 MaxCompute支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。

阿里云文档 2025-06-27

DataWorks中EMR Serverless Spark版本的用户画像分析的加工数据阶段

本文为您介绍如何用Spark SQL创建外部用户信息表ods_user_info_d_spark以及日志信息表ods_raw_log_d_spark访问存储在私有OSS中的用户与日志数据,通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据,阅读本文后,您可以了解如何通过Spark SQL来计算和分析已同步的数据,完成数仓简单数据加工场景。

阿里云文档 2024-11-01

支持的预设的系统权限策略列表

本文描述EMR Workbench支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。

文章 2023-12-22 来自:开发者社区

大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)

hadoop集群的部署配置系统网络(静态)配置系统网络(静态)第一步 查看虚拟机唯一标识(MAC地址)查看虚拟机设置00:0C:29:95:6F:C4MAC地址需要详细记录(很关键)第二步 调整70-persistent-net.rules文件删除掉红色框内的内容将eth1 改为eth0(当前网卡编号)address 必须与前面的唯一标识相同,若不相同,需要将address改为和MAC相同保存退....

大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
文章 2023-12-19 来自:开发者社区

【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)

相比于一种计算框架一个集群的模式,共享集群的模式具有以下三个优点1:硬件共享 资源利用率高2:人员共享  运维成本低3:数据共享  数据复制开销低一、集群资源统一管理系统集群资源统一管理系统需要支持多种计算框架,并需要具有扩展性、容错 性和高资源利用率等几个特点一个行之有效的资源统一管理系统需要包含资源管理、 分配和调度等功能下图是统一管理与调度系统的基本架构图商业服务器集群....

【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
文章 2022-04-16 来自:开发者社区

颠覆大数据分析之Mesos:集群调度及管理系统

颠覆大数据分析之Mesos:集群调度及管理系统 译者:黄经业    购书 正如前面“Mesos:动机”一节中所述,Mesos的主要目标就是去帮助管理不同框架(或者应用栈)间的集群资源。比如说,有一个业务需要在同一个物理集群上同时运行Hadoop,Storm及Spark。这种情况下,现有的调度器是无法完成跨框架间的如此细粒度的资源共享的。Hadoop的YARN调度器是一个中央调度...

颠覆大数据分析之Mesos:集群调度及管理系统

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute系统相关内容

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注