云原生大数据计算服务 MaxCompute mapreduce 的相关内容

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：示例程序：使用资源示例

测试准备准备好测试程序的 Jar 包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好测试表和资源。创建测试表。create table mr_upload_src(key bigint, value string); 添加测试资源。 add jar data\resources\mapreduce-example...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：示例程序：二次排序示例

测试准备准备好测试程序的 Jar 包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好 SecondarySort 的测试表和资源。创建测试表。create table ss_in(key bigint, value bigint);create table ss_out(key bigint, value bigint) ...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：示例程序：多任务示例

测试准备准备好测试程序的 Jar 包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好 MultiJobs 测试表和资源。创建测试表。create table mr_empty (key string, value string);create table mr_multijobs_out (value bigint); ...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：示例程序：多路输入输出示例

目前 MaxCompute 支持多路的输入及输出。测试准备准备好测试程序的 Jar 包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好多路输入输出的测试表和资源。创建测试表create table wc_in1(key string, value string);create table wc_in2(key str...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：示例程序：MapOnly示例

对于 MapOnly 的作业，Map 直接将信息输出到 MaxCompute 的表中，您只需要指定输出表即可，不需指定 Map 输出的 Key/Value 元信息。测试准备准备好测试程序的 Jar 包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好 MapOnly 的测试表和资源。创建测试表create tabl...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：示例程序：WordCount示例

测试准备准备好测试程序的 Jar 包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好 WordCount 测试表和资源。创建测试表。create table wc_in (key string, value string);create table wc_out(key string, cnt bigint); 添加测试...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：Java沙箱

MaxCompute MapReduce 及 UDF 程序在分布式环境中运行时，受到 Java 沙箱的限制（MapReduce 作业的主程序则不受此限制），具体限制如下：不允许直接访问本地文件，只能通过 MaxCompute MapReduce/Graph 提供的接口间接访问。读取 -resources 选项指定的资源，包括文件、Jar 包和资源表等。通过 System.out 和 Syste....

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：本地运行

基本阶段介绍本地运行前提：通过在 Jar 命令中设置–local参数，在本地模拟 MapReduce 的运行过程，从而进行本地调试。本地运行时：客户端会从 MaxCompute 中下载本地调试所需要的输入表的元信息、数据，所需要的资源以及输出表的元信息，并将这些信息保存到一个名为 warehouse 的本地目录中。本地运行结束后：程序运行结束后，会将计算结果输出到 warehou...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：资源使用

您可以在 map/reduce 中读取 MaxCompute 资源，map/reduce 的任意 Worker 都会将资源加载到内存中，以供您的代码使用。相关的使用示例请参见资源使用示例。

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：输入与输出

MaxCompute MapReduce 的输入、输出，支持 MaxCompute 内置类型的 Bigint，Double，String，Datetime 及 Boolean 类型，不支持您自定义类型。接受多表输入，且输入表的 Schema 可以不同。在 map 函数中，您可以获取当前 Record 对应的 Table 信息。输入可以为空，不支持视图（View）作为输入。Reduce 接受多路输....