MaxCompute

数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据...
来自: 首页 >MaxCompute

数据迁移

迁移MaxCompute数据至其它业务平台:迁移MaxCompute数据至OSS,详情请参见迁移MaxCompute数据至OSS。迁移MaxCompute数据至OTS,详情请参见迁移MaxCompute数据至OTS。MaxCompute处理业务数据和日志数据后,可以通过Quick BI快速地以可视化...

数据集成导入数据

在新增MaxComputeODPS数据源对话框中,配置各项参数。参数 描述 数据源名称 数据源名称必须以字母、数字、下划线(_)组合,且不能以数字和下划线(_)开头。数据源描述 对数据源进行简单描述,不得超过80个字符。适用环境 可以选择...

云数据库新人专场

MySQL年付低至19.9,其它热门产品1元起购!
广告

数据集成导出数据

通过数据集成导出MaxCompute数据的流程如下:添加MaxCompute数据源将MaxCompute数据源添加至DataWorks的数据源列表。添加目标数据源将MaxCompute数据源导出至的目标数据源添加至DataWorks的数据源列表。创建业务流程在DataWorks上创建业务...

数据类型版本说明

MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个: odps.sql.type.system.odps2:MaxCompute 2.0数据类型版本的开关,属性值为True或False。odps.sql.decimal.odps2:MaxCompute 2.0的Decimal数据类型的开关,属性值...

数据类型映射表

MaxCompute数据类型 Hive数据类型 Oracle数据类型 MySQL数据类型 BOOLEAN BOOLEAN 无 说明 使用过程中用CHAR(1)、INTEGER或NUMBER(1)等进行替代,1为真,0为假。无 说明 使用过程用TINYINT(1)替代。TINYINT TINYINT NUMBER(3,0)TINYINT ...

迁移Oracle数据MaxCompute最佳实践

在建表过程中,需要考虑Oracle数据类型与MaxCompute数据类型的映射,Oracle Reader支持的数据类型请参见类型转换列表。单击提交生产环境。新建Oracle数据源,详情请参见配置Oracle数据源。创建离线同步节点。进入数据开发页面,右键单击...

OTS外部表

本文将进一步为您介绍如何将来自Table Store(OTS)的数据纳入MaxCompute上的计算生态,实现多种数据源之间的无缝连接。表格存储(Table Store)是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务,提供海量结构化数据的存储和实时访问...

数据上云工具

DataWorks数据集成(即数据同步),是一个稳定高效、弹性伸缩的数据同步平台,致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源类型包括:MaxCompute、RDS(MySQL、...

概述

MaxCompute Tunnel是MaxCompute数据通道,您可以通过Tunnel向MaxCompute中上传或者下载数据MaxCompute提供的数据上传和下载工具是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口,不同版本的SDK在使用上有所差别,准确信息...

SET操作

更多动态脱敏信息,请参见MaxCompute数据动态脱敏。True:打开 False:关闭 odps.sql.skewjoin 设置是否开启SKEWJOIN功能,解决长尾问题。True:打开 False:关闭 odps.sql.skewinfo 设置SKEWJOIN的目标Key及对应的值。更多信息,请参见...

SQL错误码(ODPS-01CCCCX)

MaxCompute仅会执行接收的第一个添加分区命令,并忽略后续请求。避免同时对一分区执行操作。ODPS-0110071:OTS initialization exception META 1 OTS初始化异常。请提工单联系MaxCompute技术支持。ODPS-0110081:OTS transaction ...

MaxCompute开源支持

使用Mars进行科学计算,不仅使大规模科学计算任务的实现MapReduce上的千行代码降低Mars上的行代码,更在性能上有大幅提升。Mars已经在Github上开源代码,您可以一起参与共建Mars。请参见GitHub开源代码Mars。关于Mars的更多说明...

数据上传下载成本优化

如果您的ECS使用包月资源,可以使用Tunnel等数据同步工具,将MaxCompute数据同步到ECS,然后下载到本地。详情请参见导出SQL的运行结果。Tunnel文件上传优化 小文件会消耗更多计算资源,建议当文件量积累较大时一次性上传。例如,调用Tunnel...

Quick BI连接MaxCompute

查看所有表 成功添加MaxCompute数据源后,Quick BI界面会自动跳转数据源管理页面,并在页面右侧自动加载MaxCompute项目的表信息。查看表结构 成功添加MaxCompute数据源后,在目标表的操作列单击图标查看表结构。查看表数据 成功添加...

Java SDK介绍

本文实例、资源、表、函数等几个方面为您介绍Java SDK。说明 使用SDK调用MaxCompute产生的计算、存储等费用与直接使用MaxCompute产生的费用一致,详情请参见计量计费 背景信息 较为常用的MaxCompute核心接口详情请参见SDK Java Doc。您...

MaxCompute跨项目迁移

填写您的数据源名称、ODPS项目名称、AccessKey ID、AccessKey Secret等信息,单击完成,详情请参见配置MaxCompute数据源。创建数据同步任务。在数据开发页面右键单击您克隆的业务流程Workshop下的数据集成,选择新建>离线同步。编辑您新建...

RDS外部表

只有华北2(北京)、华东2(上海)、华北3(张家口)和华东1(杭州)区域支持通过服务映射或专有网络连接方案连接MaxCompute和云数据库RDS,仅这四个区域可以创建RDS数据源外部表,其他区域暂不支持。暂不支持PrivateZone域名。支持RDS ...

导出SQL的运行结果

数据同步节点和ODPS SQL节点连线配置成依赖关系,ODPS SQL节点作为数据的产出节点,数据同步节点作为数据的导出节点。工作流调度配置完成后(可以直接使用默认配置),单击运行。数据同步的运行日志,如下所示。2016-12-17 23:43:46.394...

数据输出OSS

MaxCompute的非结构化框架支持您通过INSERT方式将MaxCompute数据通过关联的OSS外部表直接输出OSS。本文为您介绍如何将数据输出OSS。前提条件 在将数据输出OSS前,请您确认已完成以下操作:OSS授权。更多授权操作信息,请参见STS...

数据加密

操作步骤 开启MaxCompute数据加密功能的步骤如下:进入密钥管理服务开通页,选中密钥管理服务服务协议,单击立即开通,开通KMS服务。说明 如果您所在区域已开通KMS服务,可跳过该步骤。登录DataWorks控制台,在左侧导航栏,单击工作空间...

项目空间操作

详情请参见MaxCompute数据动态脱敏。自定义的动态脱敏规则。odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见消费监控告警。无。odps.sql.acid.table.enable 设置是否开启ACID机制。更多ACID信息,请参见ACID语义。True:打开...

Common错误码(ODPS-00CCCCX)

ODPS-0123031:0 SQL语句写入动态分区过多。优化SQL语句。ODPS-0010000:System internal error- Open file failed 0 内部错误。请提工单联系MaxCompute技术支持处理。ODPS-0010000:System internal error-enable python sandbox failed 0 ...

SQL语句

如何将开发环境的表数据同步至生产环境的表中?通过JDBC方式访问MaxCompute可以向MaxCompute中插入数据吗?因误操作删除的表可以恢复吗?除使用UDF外,如何合并两个没有任何关联关系的表?如何将一行数据拆分为多行数据?如何删除生产环境...

快速入门

本文的示例数据文件名称为data.txt,内容为hello,odps,您可以参照准备并将数据文件保存至MaxCompute客户端的bin目录中。使用限制 请确保您购买的产品规格非按量计费开发者版。按量计费开发者版不支持处理MapReduce作业。您可以登录...

Davinci连接MaxCompute

格式为jdbc:odps:<Maxcompute_endpoint>?project=<Maxcompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下: MaxCompute_endpoint>:必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息,请...

SQL Workbench/J连接MaxCompute

Workbench/J和MaxCompute数据连接后,SQL Workbench/J会自动跳转SQL执行界面,您可以直接执行show tables;命令查看所有表信息。查看表结构 创建SQL Workbench/J和MaxCompute数据连接后,SQL Workbench/J会自动跳转SQL执行界面,您可以...

内建函数

MaxCompute项目打开2.0新数据类型开关(odps.sql.type.system.odps2=true)时,某些隐式类型转换会被禁用,包括STRING->BIGINT、STRING->DATETIME、DOUBLE->BIGINT、DECIMAL->DOUBLE和DECIMAL->BIGINT,都有精度损失或报错的风险。...

2021年

使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证...

准备环境及安装工具

在正式使用MaxCompute项目处理数据前,您需要根据业务需要选择开发工具并准备相应的环境。本文为您介绍需要准备的环境及安装的工具信息。前提条件 已创建MaxCompute项目。更多创建MaxCompute项目操作,请参见创建MaxCompute项目。背景信息 ...

数据上云场景

数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步:可以选择DataWorks,支持的数据库种类丰富,包括MySQL、SQL Server、PostgreSQL等,详情请参见创建离线同步节点...

使用说明

需要配置的URL格式为jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>&accessId= ID>&accessKey=<AccessKey Secret>&charset=UTF-8&interactiveMode=true,参数说明如下: maxcompute_endpoint:MaxCompute服务所在区域...

在SQL语句中设置Flag示例

2.0数据类型时,需要在涉及2.0数据类型的SQL前加设置Flag的语句set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时,不能简单地把Set Flag语句直接放SQL查询中执行。设置Flag的正确方式如下。String sql SELECT.;HashMap,...

运行安全命令示例

本文为您介绍如何在MaxCompute客户端上使用Java SDK接口运行安全相关的命令。前提条件 您需要完成以下操作:准备IntelliJ IDEA开发工具,请参见安装Studio。配置MaxCompute Studio连接MaxCompute项目空间,请参见创建MaxCompute项目连接。...

系统安全

因涉及数据保护,无法将MaxCompute数据导出至MySQL,如何处理?VPC IP白名单是否支持设置网段?如何跨项目空间读取数据?您可以基于Package实现跨项目空间读取数据的功能,详情请参见基于Package的跨项目空间资源访问、项目空间操作和...

MaxCompute数据迁移至OSS

本文为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS(Object Storage Service)。前提条件 开通MaxCompute。开通DataWorks。在DataWorks上完成创建业务流程,本例使用DataWorks简单模式。详情请参见创建业务...

2019年

概述 自定义动态脱敏规则 2019-11-18 支持将日志服务数据同步到MaxCompute。新视频 说明日志服务数据如何同步到MaxCompute。日志服务数据如何同步到MaxCompute ​2019-11-15 监控报警新增监测MaxCompute按量付费的Project的作业消费情况。...

DataGrip连接MaxCompute

格式为jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下: MaxCompute_endpoint>:必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息,请...

MMA2.0迁移概述

Assist(MMA)是一款MaxCompute数据迁移工具。本文为您介绍MMA2.0的迁移方案、技术原理以及功能改进点。迁移解决方案 方法一:Hive直接迁移MaxCompute。方法二:Hive先迁移至OSS,再迁移至MaxCompute。MMA2.0技术架构和原理 上图中流程...

RDS迁移至MaxCompute实现动态分区

新增MaxCompute数据源作为目标数据源接收RDS数据,详情请参见配置MaxCompute数据源。自动创建分区 准备工作完成后,需要将RDS中的数据定时每天同步到MaxCompute中,自动创建按天日期的分区。详细的数据同步任务的操作和配置请参见DataWorks...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
产品推荐
数据传输 数据管理 云服务器 物联网无线连接服务 商标 SSL证书 负载均衡SLB 智能设计
这些文档可能帮助您
设置IP白名单 通过DMS连接数据库失败 Tunnel命令 支持的数据库 MySQL功能概览 什么是云数据库RDS

新品推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折

你可能感兴趣

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折