开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
SQL其他常见问题
更多ODPS SQL节点信息，请参见 创建ODPS SQL节点。如何在SQL中实现循环？您可以通过DataWorks的 do-while节点 实现。如何在SQL中调用赋值节点？您可以通过DataWorks的 for-each节点 实现。如何查看MaxCompute日执行的所有SQL？您可以执行 ...
数据类型版本说明
重要 在DataWorks数据开发的ODPS SQL节点中不能单独执行如下SET类SQL，必须与SELECT或INSERT类SQL一起执行。查看项目数据类型版本。setproject;开启/关闭MaxCompute2.0数据类型版本。setproject odps.sql.type.system.odps2=true/false；...
开发ODPS MR任务
返回结果：OK 在ODPS SQL节点中查询输出表 wc_out 的数据。select*from wc_out;返回结果：+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码：进阶示例 更多场景的ODPS MR任务开发，请参见：...
大量数据导出方案
将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的产出节点，数据同步节点作为数据的导出节点。工作流调度配置完成后（可以直接使用默认配置），单击 运行。数据同步的运行日志，如下所示。2016-12-17 23:43:46.394...
MaxCompute作业概述
典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源...
统计MaxCompute TOPN费用账号及耗时作业
ODPS SQL节点运行的命令示例如下：project_name为MaxCompute项目名称。use;insert into table<project_name>.information_history select*from information_schema.tasks_history where ds='datetime1';{datetime1} 为DataWorks的调度参数...
建立性能基准
记录查询执行时间及预估费用 登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行任务时或通过单击 图标直接通过图形页面查看预估费用。任务完成运行后，可在运行日志中查看到运行时间。icmsDocProps={'...
PyODPS参数传递
在ODPS SQL节点中输入如下代码。insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击 运行，将数据插入到分区表 user_detail 中。使用PyODPS传递参数。登录 ...
SETPROJECT
工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择 工作区>项目管理，项目管理 页面的...
MaxCompute后付费消费突增排查
ODPS SQL节点运行的命令示例如下：project_name为MaxCompute项目名称。use;备份tasks_history。insert into table<project_name>.tasks_history select task_catalog,task_schema,task_name,task_type STRING,inst_id,`status`,owner_id,...
JSON数据从OSS迁移至MaxCompute
在ODPS SQL节点编辑页面输入如下语句。查询表mq_data数据。SELECT*from mqdata;获取JSON文件中的EXPENSIVE值。SELECT GET_JSON_OBJECT(mqdata.MQdata,'$.expensive')FROM mqdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
PyODPS查看一级分区
在ODPS SQL节点中输入如下代码。insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击 运行，将数据插入到分区表 user_detail 中。使用PyODPS查看一级分区。登录 ...
UDF开发（Java）
创建ODPS SQL节点的操作请参见 创建ODPS SQL节点，调试命令示例如下。select lower_test('ABC');使用odpscmd 准备工作。使用odpscmd开发调试UDF时，您需要先下载安装odpscmd工具，并配置config文件连接MaxCompute项目，做好UDF开发前准备...
PyODPS读取分区表数据
在ODPS SQL节点中输入如下代码。insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击 运行，将数据插入到分区表 user_detail 中。使用PyODPS读取分区表数据。登录 ...
周期性调度作业概述
其中：不同类型的作业任务可以使用不同的节点，如ODPS SQL节点、ODPS Spark节点、PyODPS节点等。同时您还可以通过DataWorks界面化的创建MaxCompute表、将MaxCompute函数注册至DataWorks、在DataWorks上创建MaxCompute资源，来提高作业开发...
快速入门
返回结果如下：使用DataWorks的临时查询功能，新建MaxCompute ODPS SQL节点，基于表mushroom_classification_one_hot中的数据创建训练数据集和测试数据集。命令示例如下：训练数据集。1/4的数据用于模型训练。create table mushroom_...
迁移Oracle数据至MaxCompute最佳实践
本文为您介绍如何通过DataWorks的数据集成功能，迁移Oracle数据至MaxCompute。...在ODPS SQL节点编辑页面输入如下语句。查看是否成功写入MaxCompute。select*from good_sale;单击 图标运行代码。您可以在 运行日志 查看运行结果。
使用MaxCompute分析IP来源最佳实践
本文为您介绍如何使用MaxCompute分析IP来源，包括下载、...在ODPS SQL节点编辑页面，输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=start_ip AND ipint('192.0.2.0')单击 图标运行代码。您可以在 运行日志 查看运行结果。
UDF开发（Python3）
创建ODPS SQL节点的操作请参见 开发ODPS SQL任务，命令示例如下。set odps.sql.python.version=cp37;python3 UDF需要使用该命令开启python3 select UDF_GET_URL_CHAR("http://www.taobao.com/a.htm",1);使用odpscmd 准备工作。使用odpscmd...
使用do-while节点实现复杂的数据分析
分别单击左侧 MaxCompute>ODPS SQL、通用>Shell，新建3个 ODPS SQL 节点和一个 Shell 节点。3个 ODPS SQL 节点命名为：30_day、60_day、90_day。1个 Shell 节点命名为：echo。设置 ODPS SQL 节点和 Shell 节点的上下游关系。通过拖拽连线，...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute。...在ODPS SQL节点编辑页面输入如下语句。SELECT*from mqdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
压缩数据从OSS迁移至MaxCompute
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
Elasticsearch数据迁移至MaxCompute
本文为您介绍如何通过DataWorks数据同步功能，迁移阿里云Elasticsearch集群上的数据至MaxCompute。...在ODPS SQL节点编辑页面输入如下语句。SELECT*FROM elastic2mc_bankdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
高级应用：实现复杂作业逻辑
说明 MaxCompute的ODPS SQL节点不支持直接写循环或遍历逻辑，您可以使用上述通用节点实现对应的作业逻辑，或您也可以使用PyODPS节点，自定义开发循环或遍历逻辑代码。实现跨节点赋值逻辑的作业 DataWorks为您提供多种实现不同节点间透传...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
OSS外部表根据字段名称Mapping数据
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
创建并使用MaxCompute表
查询MaxCompute表数据 您可使用 ODPS SQL节点 或 临时查询 功能，通过 SQL语句 查询MaxCompute表的数据。权限预设情况说明 简单模式 工作空间无法做到细粒度权限控制及开发生产隔离，本文以 标准模式 工作空间示例说明。RAM用户被添加至...
基于Hadoop集群支持Delta Lake或Hudi存储机制
在DataWorks 临时查询 页面，新建 ODPS SQL 节点，查看External Project下的表。命令示例如下。show tables in test_extproject_ddd;返回结果如下 ALIYUN$@test.aliyunid.com:h0 说明 DataWorks临时查询操作请参见 使用临时查询快速查询SQL...
创建OSS外部表
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用DataWorks连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 创建OSS外部...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
开发ODPS Script任务
在DataWorks中，您可通过ODPS Script节点实现MaxCompute SQL脚本模式开发任务代码，并调度其他作业的集成操作。适用场景 脚本模式的适用场景如下：脚本模式适合用来改写需要层层嵌套子查询的单个语句，或者因为脚本复杂性而不得不拆成多个...
INITCAP
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
GETDATE
说明 在MaxCompute SQL中，getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间，时间精度精确到秒。如果开启了新数据类型2.0，时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数，更多日期计算、日期转换的...
DESC FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的 create_function()方法来创建函数。DELETE FUNCTION：删除函数。您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在...
DELETE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数，也可以使用函数对象调用drop方法删除函数。使用示例 o.delete_function('test_function')function.drop()#Function对象存在时直接调用drop方法。...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
SQL使用限制项
MaxCompute SQL是专门为大规模数据集设计的SQL语言，在服务大规模数据场景的同时，也需要遵循一定的限制来确保系统的稳定性和运行效率，本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...
概述
为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...
- 产品推荐
- 这些文档可能帮助您