云原生大数据计算服务 MaxCompute架构系统的相关内容

阿里云文档 2025-12-09

系统规则模板和自定义规则模板

为了减少书写Spec时的工作量，数据质量提供了数据质量规则模板能力，系统内置了一批常用的规则模板，您也可以创建自定义的规则模板，这些模板中固化了Spec所需的大部分设置。在使用模板创建规则时，只需要在模板基础之上，设置额外的配置即可。

阿里云文档 2025-08-22

订阅Serverless Spark工作流系统事件通知

EMR Serverless Spark已接入云监控平台，您可以通过事件订阅对重要的事件设置定制化的报警通知，让您及时了解事件的发生与进展，帮助您实时掌握事件动态，便于您在业务故障时快速分析并定位问题。

阿里云文档 2025-08-19

支持的预设的系统权限策略列表

本文描述云原生大数据计算服务 MaxCompute支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。

阿里云文档 2025-06-27

DataWorks中EMR Serverless Spark版本的用户画像分析的加工数据阶段

本文为您介绍如何用Spark SQL创建外部用户信息表ods_user_info_d_spark以及日志信息表ods_raw_log_d_spark访问存储在私有OSS中的用户与日志数据，通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据，阅读本文后，您可以了解如何通过Spark SQL来计算和分析已同步的数据，完成数仓简单数据加工场景。

阿里云文档 2024-11-01

支持的预设的系统权限策略列表

本文描述EMR Workbench支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。

文章 2024-08-23 来自：开发者社区

大数据架构设计原则：构建高效、可扩展与安全的数据生态系统

在当今数字化时代，大数据已成为企业决策、产品创新及业务优化的核心驱动力。一个高效、可扩展且安全的大数据架构，对于充分挖掘数据价值、提升业务洞察力至关重要。本文将深入探讨大数据架构设计的基本原则，帮助企业和技术团队构建适应未来需求的数据生态系统。 1. 需求驱动，明确目标原则概述大数据架构设计应始于对业务需求的深刻理解。明确数据处理的目标...

文章 2024-07-28 来自：开发者社区

阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合：构建高效、可扩展的数据处理平台

引言在当今大数据时代，数据已成为企业最重要的资产之一。如何高效地处理、存储和分析海量数据，成为企业提升竞争力的关键。阿里巴巴飞天大数据架构体系与Hadoop生态系统作为业界领先的大数据解决方案，以其高效、可扩展和可靠的特点，被广泛应用于各行各业。本文将深入探讨阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合，从架构设...

文章 2023-12-20 来自：开发者社区

【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）

一、Spark概述Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms， Machines and People）实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目，其诸多核心理念均源自学术研究论文。2013年，Spark加入Apache孵化器项目后，开始获得迅猛的发展，如....

文章 2022-02-17 来自：开发者社区

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop 什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。 Hadoop的核心有两大板块：HDFS和M....

文章 2022-02-15 来自：开发者社区

大数据，数据分析，机器学习，架构等相关系统名称名词解释

常用的一些软件或其他 1.日志（日志收集，日志处理）风来了.fox 1.1 Logstash Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。 1.2 Filebeat Filebeat是一个开源的文件收集器，主要用于获取日志文件，并把它们发送到logstash或...