云原生大数据计算服务 MaxCompute java 的相关内容

文章 2017-12-06 来自：开发者社区

MaxCompute Studio使用心得系列5——一个工具完成整个JAVA UDF开发

MaxCompute提供了丰富的内置函数，但是依然还是无法满足所有业务，所以自定义函数在所难免。 MaxCompute目前支持的UDF主要是JAVA UDF，但是原来的客户端console和大数据开发套件都不支持JAVA编辑，只能先在自己机器的java环境中编辑测试好，然后输出jar包，再通过console或大数据开发套件将jar包添加成resource，最后再注册成function。整个过程需....

问答 2017-11-08 来自：开发者社区

a)可以从多台RDS导入到MaxCompute的同一张表吗，有这方面的自动化工具吗，工具是否收费 b)导出时是否可以按sql指定？比如某字段符合某些条件的才导出，有大概的操作流程或界面展示文档吗？ c)导出过程是否可以加入插件做中间处理，比如java函数。

a)可以从多台RDS导入到MaxCompute的同一张表吗，有这方面的自动化工具吗，工具是否收费b)导出时是否可以按sql指定？比如某字段符合某些条件的才导出，有大概的操作流程或界面展示文档吗？c)导出过程是否可以加入插件做中间处理，比如java函数。

问答 2017-10-24 来自：开发者社区

MaxCompute工具及下载：MaxCompute Studio：开发 Java 程序：打包/上传/注册

完成 UDF 或 MR 开发后，需要打包发布到 MaxCompute 系统。打包 UDF 或 MR 单击 File 下的 Project Structure。如下图所示：选中左侧导航栏中的 Artifacts，单击中间栏上方的加号。如下图所示：单击 JAR 下的 Empty，即添加一个空的 JAR 包。指定 Name 后，添加内容到该 JAR 包中，即双击右侧 Available ...

问答 2017-10-24 来自：开发者社区

MaxCompute工具及下载：MaxCompute Studio：开发 Java 程序：非结构化开发

MaxCompute2.0新增了一套非结构化数据处理框架，支持通过外部表的方式直接访问OSS,OTS等。Studio对此提供了一些代码模板支持，方便用户快速开发。编写StorageHandler/Extractor/Outputter 创建MaxCompute Java Module(在examples目录下的unstructured文件夹有示例代码供参考)。在module的源码目录...

问答 2017-10-24 来自：开发者社区

MaxCompute工具及下载：MaxCompute Studio：开发 Java 程序：开发 MapReduce

创建完成 MaxCompute Java Module后，即可以开始开发 MR了。开发MR 1.在module的源码目录即src->main上右键new，选择MaxCompute Java。 2.分别创建Driver，Mapper，Reducer。 3.模板已自动填充框架代码，只需要设置输入/输出表，Mapper/Reducer类等即可。调试MR MR开发好后，下一...

问答 2017-10-24 来自：开发者社区

MaxCompute工具及下载：MaxCompute Studio：开发 Java 程序：开发和调试 UDF

创建完成 MaxCompute Java Module 后，即可开发 UDF。操作步骤展开已创建的 MaxCompute Java Module 目录，导航至 src -> new，单击 MaxCompute Java。如下图所示：填写弹出框中的相关内容，单击 OK。如下图所示： Name：填写创建的 MaxCompute Java Class 名称。Kind：选择类型。目前支...

问答 2017-10-24 来自：开发者社区

MaxCompute工具及下载：MaxCompute Studio：开发 Java 程序：创建 MaxCompute Java Module

MaxCompute Studio 支持开发 Java UDF 和 MR，首先需要新建一个 MaxCompute Java Module。操作步骤打开 IntelliJ IDEA，选择已创建的 MaxCompute Studio Project。导航至 File -> New，单击 Module。如下图所示：选择左侧导航栏中的 MaxCompute java，单击右侧页面中的 New.....

问答 2017-10-24 来自：开发者社区

MaxCompute用户指南：MapReduce：Java SDK：兼容版本SDK概述

MaxCompute 兼容版本的 MapReduce 与 Hadoop MapReduce 兼容性的详细列表，如下表所示：类型接口是否兼容Mappervoid map(KEYIN key, VALUEIN value, org.apache.hadoop.mapreduce.Mapper.Context context)是Mappervoid run(org.apache.hadoop.map....

问答 2017-10-24 来自：开发者社区

MaxCompute用户指南：MapReduce：Java SDK：原生SDK概述

本文将会为您介绍较为常用的 MapReduce 核心接口。如果您使用 Maven，可以从 Maven 库中搜索“odps-sdk-mapred”获取不同版本的 Java SDK，相关配置信息如下： com.aliyun.odps odps-sdk-mapred &nbs...

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：Java沙箱

MaxCompute MapReduce 及 UDF 程序在分布式环境中运行时，受到 Java 沙箱的限制（MapReduce 作业的主程序则不受此限制），具体限制如下：不允许直接访问本地文件，只能通过 MaxCompute MapReduce/Graph 提供的接口间接访问。读取 -resources 选项指定的资源，包括文件、Jar 包和资源表等。通过 System.out 和 Syste....