云原生大数据计算服务 MaxCompute用户指南下载的相关内容

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：批量数据通道SDK示例：简单上传示例

import java.io.IOException; import java.util.Date; import com.aliyun.odps.Column; import com.aliyun.odps.Odps; import com.aliyun.odps.PartitionSpec; import com.aliyun.odps.TableSchema; import com.ali....

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：批量数据通道SDK示例：示例概述

MaxCompute 提供了两个服务地址供您进行选择。Tunnel 服务地址的选择会直接影响您上传数据的效率及计量计费。详情请参见 Tunnel SDK 简介。数据上传时，建议您使用 TunnelBufferedWriter，详情请参见 BufferedWriter 相关的示例代码。不同版本 SDK 会有不同，本示例仅供参考。请您注意版本变更。

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：批量数据通道SDK介绍：TunnelBufferedWriter

一次完整的上传流程通常包括以下步骤：先对数据进行划分。为每个数据块指定 block Id，即调用 openRecordWriter（id）。用一个或多个线程分别将这些 block 上传上去，并在某个 block 上传失败以后，需要对整个 block 进行重传。在所有 block 都上传以后，向服务端提供上传成功的 blockid list 进行校验，即调用 session.commit([1,....

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：批量数据通道SDK介绍：DownloadSession

接口定义如下： public class DownloadSession { DownloadSession(Configuration conf, String projectName, String tableName, ...

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：批量数据通道SDK介绍：UploadSession

接口定义如下： public class UploadSession { UploadSession(Configuration conf, String projectName, String tableName, &nb...

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：批量数据通道SDK介绍：TableTunnel

接口定义如下： public class TableTunnel { public DownloadSession createDownloadSession(String projectName, String tableName); public DownloadSession createDownloadSession(String projectName, String tableNam....

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南:数据上传下载:批量数据通道SDK介绍:批量数据通道概要

MaxCompute Tunnel 是 MaxCompute 的数据通道，您可以通过 Tunnel 向 MaxCompute 中上传或者下载数据。目前 Tunnel 仅支持表（不包括视图 View）数据的上传和下载。 MaxCompute 提供的数据上传和下载工具即是基于Tunnel SDK 编写的。如果您使用 Maven，可以从 Maven库中搜索 odps-sdk-core 来获...

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：通过数据集成导入/导出

您可以通过大数据开发套件中的数据集成创建数据同步任务，对 MaxCompute 中的数据进行导入和导出操作。前置条件在开始数据的导入和导出操作前，您需要根据准备阿里云账号和购买并创建项目中的操作，做好准备工作。添加 MaxCompute 数据源注意：只有项目管理员角色才能够新建数据源，其他角色的成员仅能查看数据源。若需要添加的数据源是当前 Ma...

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：工具介绍

MaxCompute 平台的数据上传和下载目前有着丰富的工具（其中大部分已经在 GitHub 上开源，走开源社区的维护方式）可以使用，各自有不同的应用场景，具体分为阿里云数加产品和开源产品两大类，本文将进行简要介绍。阿里云数加产品大数据开发套件之数据集成大数据开发套件之数据集成（即数据同步），是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据...

问答 2022-04-15 来自：开发者社区

MaxCompute用户指南：数据上传下载：数据上云场景

利用 MaxCompute 平台的数据上传/下载工具，可以广泛用于各种数据上云的应用场景，本文将介绍几种常见的经典场景。 Hadoop 数据迁移 Hadoop 数据迁移有两种可选的工具，分别是 Sqoop 和大数据开发套件。 Sqoop 执行时，会在原来的 Hadoop 集群上执行 MR 作业，可以分布式地将数据传输到 MaxCompute 上，效率会比较高，详情请参见 Sqoop ...