RDS迁移至MaxCompute实现动态分区
将数据全量同步到MaxCompute的一个临时表，创建一个SQL脚本节点。执行如下命令。drop table if exists ods_user_t;CREATE TABLE ods_user_t(dt STRING,uid STRING,gender STRING,age_range STRING,zodiac STRING);将MaxCompute表中的数据...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
从RDS同步至MaxCompute
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
20 关系数据库全量入湖 参数属性 参数名称 说明 示例 配置数据源 数据源连接 展示同Region、同账号下的RDS实例，可在下拉列表中选择目标数据源。无 表路径 需要同步的源表路径，格式为<database_name>/。无 配置目标数据湖信息 目标数据库 ...
数据类型版本说明
重要 在DataWorks数据开发的ODPS SQL节点中不能单独执行如下SET类SQL，必须与SELECT或INSERT类SQL一起执行。查看项目数据类型版本。setproject;开启/关闭MaxCompute2.0数据类型版本。setproject odps.sql.type.system.odps2=true/false；...
从MaxCompute导入数据报错get odps table error:can ...
2、分析型数据库目前仅允许操作者导入自身为 Project Owner 的 MaxCompute Project 中，或者操作者是 MaxCompute 表的 Table Creator 的数据。3、如果用户的 MaxCompute 开启了保护模式的功能(set projectProtection=true)，数据无法以任何...
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
开发ODPS Spark任务
Java/Scala 在ODPS Spark节点执行Java或Scala语言类型代码前，您需先在本地开发好MaxCompute Spark作业代码，再通过DataWorks上传为MaxCompute的资源。步骤如下：准备开发环境。根据所使用系统类型，准备运行MaxCompute Spark任务的开发...
2024年
您可以以更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析及科学计算、ML/AL开发等工作。MaxFrame功能介绍和使用说明请参见 MaxFrame概述。您有任何相关问题或需要协助，可以通过您的专...
常见问题
问题类别 常见问题 开通MaxCompute DataWorks与MaxCompute的区别是什么？如何区分DataWorks工作空间和MaxCompute项目？开通MaxCompute服务时，如何根据本身数据存储量以及计算任务评估开通哪些产品规格？创建MaxCompute项目 创建MaxCompute...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息...相关参考 开通MaxCompute 创建MaxCompute项目 报错FAILED:ODPS-0420095:Access Denied-The task is not in release range:Merge
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
开发ODPS MR任务
返回结果：+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码：进阶示例 更多场景的ODPS MR任务开发，请参见：MapOnly示例 多路输入输出示例 多任务示例 使用资源示例 分区表输入示例 后续步骤 当...
使用本地客户端（odpscmd）连接
说明 Endpoint用于MaxCompute服务，Tunnel Endpoint用于MaxCompute的Tunnel服务，end_point 参数值应填写Endpoint，请不要填入Tunnel Endpoint。报错：Accessing project '<projectname>' failed:。可能原因：end_point 参数值填写错误。...
编写Graph
在新建的 odps-graph-example-sssp 中，创建 BaseLoadingVertexResolver 类和 SSSP 类。代码详情，请参见 单源最短距离 有向图。在IntelliJ IDEA中，通过MaxCompute Studio完成一键式打包。操作详情，请参见 打包、上传及注册。说明 本示例...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
SQL其他常见问题
问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据...
创建MaxCompute Script Module
在MaxCompute Studio的本地.\IdeaProjects\MaxCompute_Studio_Project_Name\scripts 文件夹下新建一个MaxCompute的连接配置文件 odps_config.ini，文件中包含MaxCompute连接的鉴权信息，示例如下。连接的MaxCompute项目名称。project_name=...
项目空间操作
创建MaxCompute项目空间后，您需要进入项目空间才可以执行后续开发、分析、运维等一系列操作。本文为您介绍如何进入或查看项目空间，以及设置或查看项目空间Project级的属性。项目空间操作的常用命令如下。类型 功能 角色 操作入口 进入...
权限问题
检查是否开通OSS功能，当前MaxCompute的Volume基于用户开通的OSS构建，需要用户开通OSS功能后才能运行。OSS开通方式请参考 开通OSS服务。开通Volume权限，开通方式请参考 新功能测试申请。MaxCompute表无Download权限 报错信息 解决方法 在...
MaxCompute UDF（Java）常见问题
本文为您介绍使用Java语言编写的MaxCompute UDF的常见问题。类或依赖问题 调用MaxCompute UDF运行代码时的常见类或依赖问题如下：问题现象一：运行报错描述为 ClassNotFoundException 或 Some dependencies are missing。产生原因：原因一...
SET
odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在...
运行模式
cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class com.aliyun.odps.spark.examples.SparkPi \ /path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar DataWorks执行模式 您可以在DataWorks中...
SETPROJECT
工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择 工作区>项目管理，项目管理 页面的...
MapReduce常见问题
正常情况下，MaxCompute的JAR包需要在命令行工具上执行 jar 命令来执行，具体语法请参见 MapReduce作业提交。您也可以通过模拟的方式整合到自己的工程中，方法如下：设置包依赖。除了基本的SDK，还需要其他的几个依赖包，您可在客户端工具...
SQL错误码（ODPS-01CCCCX）
您在SQL中手动输入的日期格式不符合MaxCompute的格式要求，或者对DATETIME相关内建函数使用不当。处理方法：修改日期格式。ODPS-0123121:Mapjoin exception 模块：PROCESSOR。严重等级：1。触发条件：MAPJOIN异常。通常情况是MAPJOIN的小表...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
Java SDK常见问题
如何在MaxCompute的Java业务代码中执行SQL作业？使用SQLTask执行SQL查询时，如果查询结果条数大于限制的10000条，该如何获取所有数据？SQLTask中，按照如下方法返回结果集的数据量是否有限制？如果有限制，最大返回结果集大小是多少？...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
错误码概述
本文为您介绍MaxCompute的错误码格式及错误码列表。错误码格式 MaxCompute错误码编码规则如下。错误编号:通用描述-上下文相关说明 类目 说明 错误编号 用于判断错误码归属类别、错误原因及错误严重等级，格式如下。ODPS-MMCCCCX MM：表示...
利用MaxCompute External Volume处理非结构化数据
Archive类型除了下载文件，还会在当前工作目录自动解压文件，此时需要用到两个 External Volume相关的参数来指引Spark程序处理External Volume对象包含的OSS数据：说明 以下参数需要配置在DataWorks的ODPS Spark节点配置项的 参数 中或配置...
管理项目连接
在IntelliJ IDEA上通过MaxCompute Studio使用MaxCompute进行数据开发前，您必须连接MaxCompute项目，才可以查看、管理MaxCompute的数据和资源。本文为您介绍如何在MaxCompute Studio创建或修改MaxCompute项目连接。步骤一：创建MaxCompute ...
安装PyODPS
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
Flag参数列表
ALL 调度 Session odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单...
Hologres外部表
Hologres的分区表和MaxCompute的分区表没有对应关系。Hologres外部表不支持分区。当您需要向Hologres外部表写入大量数据时，采用并行多进程写入方式，会小概率出现某个写入进程数据重写情况，导致数据重复。MaxCompute里建的Hologres外部表...
USE
项目空间名称获取方式：登录 MaxCompute控制台，项目管理 页签下的MaxCompute 项目名。MaxCompute没有提供创建和删除项目空间的命令。创建项目空间操作详情请参见 创建MaxCompute项目。命令格式-进入项目空间。use;参数说明 project_name：...
Instance Logview示例
本文为您介绍如何使用MaxCompute Java SDK生成Instance Logview链接。Instance Logview可以帮助您快速定位问题。背景信息 您可以通过Logview查看和Debug提交的MaxCompute作业，详情请参见 使用Logview查看作业运行信息。MaxCompute Java ...
安装并登录MaxCompute本地客户端
重要 Endpoint用于MaxCompute服务，Tunnel Endpoint用于MaxCompute的Tunnel服务，此处请填写Endpoint。如果Endpoint配置有误，会出现无法访问错误，请务必仔细确认。http://service.cn-hangzhou.maxcompute.aliyun.com/api log_view_host否 ...
授权实践
本文为您介绍MaxCompute的权限管理案例。Policy权限控制案例 通过Policy以角色方式允许某些用户执行操作 场景说明：对部分项目成员进行权限控制，允许创建表、Resource文件上传、Function创建、任务执行并只允许读以 t_app_开头的表。操作...
- 产品推荐
- 这些文档可能帮助您