云原生大数据计算服务 MaxCompute apache入门的相关内容

阿里云文档 2025-12-26

API开发流程

DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。

阿里云文档 2025-12-22

如何使用数据保护伞功能

数据保护伞是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对xc_dpe_e2_dev项目的phone数据脱敏，并设置导出风险审计，为您演示数据保护伞的基本使用流程。

阿里云文档 2025-09-03

如何使用运维中心模块

您可在运维中心查看发布至生产环境的任务，并执行测试、补数据等相关运维操作。本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，为您介绍运维中心模块的基本使用。

阿里云文档 2025-07-30

PySpark批任务开发入门

您可以自行编写并构建包含业务逻辑的Python脚本，上传该脚本后，即可便捷地进行PySpark开发。本文通过一个示例，为您演示如何进行PySpark开发。

文章 2023-08-15 来自：开发者社区

创建 DataFrame在 Scala 中，可以通过以下几种方式创建 DataFrame：从现有的 RDD 转换而来。例如：import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.appName("Create DataFrame").getOrCreate() import spark.implicit....

文章 2023-08-15 来自：开发者社区

【大数据】Apache Spark入门到实战 3

CheckPointCheckPoint可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)，即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。CheckPoint分为两类：高可用CheckPoint：容错性优先。这种类型的检查点可确保数据永久存储，如存储在HDFS或其他分布式文件系统上。这也意味....

文章 2023-08-15 来自：开发者社区

【大数据】Apache Spark入门到实战 2

RDDRDD的概念在Spark中十分重要，上面只是简单的介绍了一下，下面详细的对RDD展开介绍。RDD是“Resilient Distributed Dataset”的缩写，从全称就可以了解到RDD的一些典型特性：Resilient（弹性）：RDD之间会形成有向无环图（DAG），如果RDD丢失了或者失效了，可以从父RDD重新计算得到。即容错性。Distributed（分布式）：RDD的数据是以逻....

文章 2023-08-15 来自：开发者社区

【大数据】Apache Spark入门到实战 1

之前说到了之后工作中会接触到Spark离线任务相关的内容，也预先学习了Scala，所以这篇文章它来了。本篇文章会介绍Spark的相关概念以及原理，帮助初学者快速入门Spark。Spark是什么学习一个东西之前总要知道这个东西是什么。Spark 是一个开源的大数据处理引擎，它提供了一整套开发 API，包括流计算和机器学习。它支持批处理和流处理。Spark 的一个显著特点是它能够在内存中进行迭代计算....