云原生大数据计算服务 MaxCompute用户指南mapreduce功能的相关内容

阿里云文档 2025-10-23

Data Studio新旧版本常用功能变化速览

如果您曾经使用过旧版数据开发（DataStudio），阅读本文档能够帮助您快速了解新旧版数据开发间功能变化，适应新版环境，衔接后续开发工作。全新用户无需阅读，可直接开始使用新版数据开发。

阿里云文档 2025-09-19

2025年9月17日发布的EMR Serverless Spark版本新增密文管理、Python运行环境配置、Kyuubi Gateway多实例支持及引擎性能优化等功能，提升安全性和任务效率。

本文为您介绍2025年09月17日发布的EMR Serverless Spark的功能变更。

阿里云文档 2025-08-01

新版数据开发组件管理功能介绍

组件用于将SQL过程抽象为一个SQL模板，实现SQL代码的复用。使用组件前，您需先根据业务需要创建符合业务加工过程的组件。本文为您介绍在数据开发（Data Studio）的组件管理界面，如何创建组件，并进行组件的分享、升级、查看组件引用记录等管理操作。

阿里云文档 2025-02-11

为了提升阿里云EMR集群的可靠性和可用性，您可以采用两种策略：一是在集群扩容时开启尽力交付，这样即使部分节点创建失败，系统也会将所有成功创建的节点加入集群，从而最大限度地保障服务运行；二是对集群中现有的或新增的节点组开启自动补偿机制，一旦检测到集群中的ECS实例出现异常，该机制会自动尝试用新购的实例替换故障节点。这两种机制相结合，能够显著提高EMR集群的整体稳定性。本文为您介绍阿里云EMR集群的节...

阿里云文档 2024-10-15

异步物化视图功能支持

自v2.4起，StarRocks支持异步物化视图。异步物化视图旨在加速在StarRocks内部或数据湖中基于多个大表执行复杂查询，通常涉及多表之间数十亿行数据的关联和聚合。查询的频率越高或查询语句越复杂，性能增益就会越很明显。此外，您还可以通过异步物化视图对数据仓库进行建模。本文介绍了异步物化视图的能力边界及相关功能的支持版本。

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：本地运行

基本阶段介绍本地运行前提：通过在 Jar 命令中设置–local参数，在本地模拟 MapReduce 的运行过程，从而进行本地调试。本地运行时：客户端会从 MaxCompute 中下载本地调试所需要的输入表的元信息、数据，所需要的资源以及输出表的元信息，并将这些信息保存到一个名为 warehouse 的本地目录中。本地运行结束后：程序运行结束后，会将计算结果输出到 warehou...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：资源使用

您可以在 map/reduce 中读取 MaxCompute 资源，map/reduce 的任意 Worker 都会将资源加载到内存中，以供您的代码使用。相关的使用示例请参见资源使用示例。

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：输入与输出

MaxCompute MapReduce 的输入、输出，支持 MaxCompute 内置类型的 Bigint，Double，String，Datetime 及 Boolean 类型，不支持您自定义类型。接受多表输入，且输入表的 Schema 可以不同。在 map 函数中，您可以获取当前 Record 对应的 Table 信息。输入可以为空，不支持视图（View）作为输入。Reduce 接受多路输....

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：基本概念

Map/Reduce Map 和 Reduce 分别支持对应的 map/reduce 方法，setup 及 cleanup 方法。setup 方法在 map/reduce 方法之前调用，每个 Worker 调用且仅调用一次。 cleanup 方法在 map/reduce 方法之后调用，每个 Worker 调用且仅调用一次。相关的使用示例请参见示例程序。排序支持将Map 输出...

问答 2017-10-23 来自：开发者社区