问答 2017-10-24 来自:开发者社区

MaxCompute用户指南:MapReduce:MR限制项汇总

为避免您出现因没注意限制条件,业务启动后才发现限制条件,导致业务停止的现象发生,本文将对 MaxCompute MR 限制项进行汇总,以方便您查看。 MaxCompute MR 限制项汇总,如下表所示: 边界名边界值分类配置项名称默认值是否可配置说明instance 内存占用[256M,12G]内存限制odps.stage.mapper(reducer).mem 和 odps.stage.map....

问答 2017-10-23 来自:开发者社区

MaxCompute用户指南:MapReduce:示例程序:MapOnly示例

对于 MapOnly 的作业,Map 直接将 信息输出到 MaxCompute 的表中,您只需要指定输出表即可,不需指定 Map 输出的 Key/Value 元信息。 测试准备 准备好测试程序的 Jar 包,假设名字为 mapreduce-examples.jar,本地存放路径为 data\resources。准备好 MapOnly 的测试表和资源。 创建测试表create tabl...

问答 2017-10-23 来自:开发者社区

MaxCompute用户指南:MapReduce:功能介绍:输入与输出

MaxCompute MapReduce 的输入、输出,支持 MaxCompute 内置类型的 Bigint,Double,String,Datetime 及 Boolean 类型,不支持您自定义类型。接受多表输入,且输入表的 Schema 可以不同。在 map 函数中,您可以获取当前 Record 对应的 Table 信息。输入可以为空,不支持视图(View)作为输入。Reduce 接受多路输....

问答 2017-10-23 来自:开发者社区

MaxCompute用户指南:MapReduce:功能介绍:基本概念

Map/Reduce Map 和 Reduce 分别支持对应的 map/reduce 方法,setup 及 cleanup 方法。setup 方法在 map/reduce 方法之前调用,每个 Worker 调用且仅调用一次。 cleanup 方法在 map/reduce 方法之后调用,每个 Worker 调用且仅调用一次。 相关的使用示例请参见 示例程序。 排序 支持将Map 输出...

问答 2017-10-23 来自:开发者社区

MaxCompute用户指南:MapReduce:概要:开源兼容MapReduce

MaxCompute(原 ODPS)有一套原生的 MapReduce 编程模型和接口,简单来说,这套接口的输入输出都是MaxCompute 中的 Table,处理的数据是以 Record 为组织形式的,它可以很好地描述 Table 中的数据处理过程。但是与社区的Hadoop 相比,编程接口差异较大。Hadoop 用户如果要将原来的 Hadoop MR 作业迁移到 MaxCompute 的 MR中....

问答 2017-10-23 来自:开发者社区

MaxCompute用户指南:MapReduce:概要:扩展MapReduce

传统的 MapReduce 模型要求每一轮 MapReduce 操作之后,数据必须落地到分布式文件系统上(比如 HDFS 或MaxCompute 表)。而一般的 MapReduce 应用通常由多个 MapReduce 作业组成,每个作业结束之后需要写入磁盘,接下去的Map 任务很多情况下只是读一遍数据,为后续的 Shuffle 阶段做准备,这样其实造成了冗余的 IO 操作。 MaxCompute....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云E-MapReduce

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

+关注