创建ODPS SQL节点

ODPS SQL节点的使用限制如下:ODPS SQL不支持单独使用set、use和alias语句,必须和具体的SQL语句一起执行,示例如下。set a=b;create table name(id string);ODPS SQL不支持关键字(set、use和alias)语句后单独加注释,示例如下。create ...

创建ODPS SQL节点

ODPS SQL节点的使用限制如下:ODPS SQL不支持单独使用set、use和alias语句,必须和具体的SQL语句一起执行,示例如下。set a=b;create table name(id string);ODPS SQL不支持关键字(set、use和alias)语句后单独加注释,示例如下。create ...

设计工作流

SQL节点,依次命名为ods_user_trace_log、dw_user_trace_log、rpt_user_trace_log。通过连接不同节点,配置依赖关系如下。说明 ods_user_trace_log、dw_user_trace_log、rpt_user_trace_log分别代表数据仓库的ODS、CDM和ADS层,详情请参见...

阿里云试用中心,为您提供0门槛上云实践机会!

100+款试用云产品,最长免费试用12个月!拨打95187-1,咨询专业上云建议!
广告

使用临时查询运行SQL语句(可选)

右键单击临时查询,选择新建节点>ODPS SQL。说明 如果界面没有ODPS SQL选项,表明当前DataWorks工作空间未绑定MaxCompute计算引擎,您需要执行绑定操作,更多操作信息,请参见绑定MaxCompute计算引擎。填写新建节点对话框中的节点名称,...

界面功能介绍

您可以在PyODPS节点的编辑页面进行保存、提交等操作,各操作的说明请参见ODPS SQL节点界面功能ODPS Script节点界面功能点在相应业务流程下,双击打开ODPS Script节点,即可在右侧的编辑页面进行操作。新建ODPS Script节点的详情请参见...

使用流程参数

调度的业务流程仅支持ODPS SQL节点使用流程参数。使用流程参数前,请先配置好单个节点的参数,确保单个节点运行无误。当流程参数的赋值与单个节点参数的赋值不一致时,流程参数的赋值会覆盖节点参数的赋值。输入参数时,请注意区分大小写。...

导出SQL的运行结果

配置ODPS SQL节点,配置完成后单击保存。创建数据同步节点。右键单击业务流程,选择新建>数据集成> 离线同步。填写节点名称为sync2mysql,单击提交。选择数据来源以及去向。配置字段映射。配置通道控制。单击保存。将数据同步节点和ODPS ...

创建ODPS Spark节点

ODPS Spark节点支持使用Java和Python处理数据,本文为您介绍如何新建和配置ODPS Spark节点。背景信息Python资源是针对Python UDF进行开发,能够获取的可以直接依赖的三方包较为有限,因此使用Python资源的局限性较大。如果您需要使用Python...

天任务依赖分钟任务最佳实践

ODPS SQL节点用来汇总MaxCompute接收的数据。单击工具栏中的图标。配置作为分钟任务的离线同步节点。双击离线同步节点,进入该节点的编辑页面。选择数据来源和数据去向。本示例为同步MySQL的数据至MaxCompute。根据过滤条件过滤每5分钟更新...

统计MaxCompute TOPN费用账号及耗时作业

SQL节点运行的命令示例如下:project_name为MaxCompute项目名称。use;insert into table<project_name>.information_history select*from information_schema.tasks_history where ds '${datetime1}';{datetime1}为DataWorks的调度参数,您...

创建业务流程

SQL节点将在ODPS_SQL节点insert_data中,通过SQL代码,查询不同学历的单身人士贷款买房的数量并保存结果,以便后续节点继续分析或展现。打开ODPS SQL节点的编辑页面,输入下述代码。具体语法说明请参见SQL概述。INSERT OVERWRITE TABLE...

SQL语句

执行MaxCompute SQL过程中,报错ODPS-0130071,如何处理?在执行MaxCompute SQL过程中,报错Table xx has n columns,but query has m columns,如何处理?使用COALESCE函数时,只要超过一个Expression,会报错ODPS-0130071,如何处理?...

结构

双击打开相应的ODPS SQL节点,新建节点的操作请参见ODPS SQL。单击编辑界面右侧的结构,即可进行查看。例如,ODPS SQL节点中的SQL语句如下所示。INSERT OVERWRITE TABLE dw_user_info_all_d PARTITION(dt='${bdp.system.bizdate}')SELECT ...

节点配置

配置ODPS SQL节点ods_user_trace_log 双击ods_user_trace_log节点,进入节点配置界面,编写处理逻辑。SQL代码如下。insert overwrite table ods_user_trace_log partition(dt=${bdp.system.bizdate})selectmd5,uid ts,ip,status,bytes,...

管理手动业务流程

SQL节点、创建SQL组件节点、创建ODPS Spark节点、创建PyODPS 2节点、创建ODPS Script节点、创建ODPS MR节点和创建PyODPS 3节点。表打开相应手动业务流程下的MaxCompute,右键单击表,即可进行新建。您也可以在此查看当前MaxCompute计算引擎...

创建临时查询

本文以新建ODPS SQL节点为例:在临时查询页面,右键单击文件夹名称,选择新建节点>ODPS SQL。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数(.),且不能超过128...

数据类型版本说明

odps.sql.type.system.odps2:MaxCompute 2.0数据类型版本的开关,属性值为True或False。odps.sql.decimal.odps2:MaxCompute 2.0的Decimal数据类型的开关,属性值为True或False。odps.sql.hive.compatible:MaxCompute Hive兼容模式(即...

新建数据表

以下以使用ODPS SQL节点的DDL语句创建外部表作为操作示例。单击新建的业务流程Workshop,右键单击MaxCompute,选择新建>ODPS SQL,输入节点名称workshop单击提交。双击创建的ODPS节点,进入数据开发界面后,编译如下DDL语句,用于创建名称...

运行模式

Spark支持用户在IDEA中以Local[N]的模式直接运行代码,而不需要通过MaxCompute Spark客户端提交,您需要注意以下两: 在IDEA中运行Local模式时,不能直接引用spark-defaults.conf的配置,需要手动在代码中指定相关配置。配置示例如下:...

JSON数据从OSS迁移至MaxCompute

ODPS SQL节点编辑页面输入如下语句。查询表mq_data数据。SELECT*from mqdata;获取JSON文件中的EXPENSIVE值。SELECT GET_JSON_OBJECT(mqdata.MQdata,'$.expensive')FROM mqdata;单击图标运行代码。您可以在运行日志查看运行结果。...

提交并发布模型

您可以将已创建的数据模型提交至开发环境,并发布至生产环境进行调度运行。本文为你介绍如何提交并...打开ODPS SQL节点的编辑页面,运行show tables。在运行日志中,通过Ctrl+F搜索customer。您还可以运行DESC语句,确认表结构是否符合预期。

创建ODPS Spark节点

ODPS Spark节点支持使用Java和Python处理数据,本文为您介绍如何新建和配置ODPS Spark节点。背景信息Python资源是针对Python UDF进行开发,能够获取的可以直接依赖的三方包较为有限,因此使用Python资源的局限性较大。如果您需要使用Python...

建立性能基准

MaxCompute性能表现优劣,主要取决您的表设计...sql节点。您可以在运行任务时或通过单击图标直接通过图形页面查看预估费用。任务完成运行后,可在运行日志中查看到运行时间。icmsDocProps={'productMethod':'created','language':'zh-CN',};

SQL语句中设置Flag

2.0数据类型时,需要在涉及2.0数据类型的SQL前加设置Flag的语句set odps.sql.type.system.odps2=true;示例使用Java SDK提交SQL时,不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式如下。String sql SELECT.;HashMap,...

SET操作

odps.sql.executionengine.coldata.deep.buffer.size.max设置MaxCompute在写表过程中,为复杂数据类型的列预先申请的缓存大小,以便提高写入性能。如果输出的表中的复杂数据类型过多或输出表中含有的某个单独的复杂类型变量大小过大,可以...

配置赋值节点

下游引用赋值节点ODPS SQL)最后一条查询结果的场景示例 在相应的业务流程下,双击打开赋值语言为ODPS SQL的上游节点fuzhi_sql。单击编辑页面右侧的调度配置。配置上游节点。赋值节点将该表的查询结果作为节点输出,赋值给赋值节点自带的...

创建PyODPS 2节点

DataWorks提供PyODPS 2节点类型,集成了MaxCompute的Python SDK。您可以在DataWorks的PyODPS 2节点上,直接编辑Python代码,用于操作MaxCompute。背景信息MaxCompute提供了Python SDK方法说明,您可以使用Python的SDK来操作MaxCompute。...

快速入门

使用DataWorks的临时查询功能,新建MaxCompute ODPS SQL节点,执行SQL命令验证one-hot处理结果。命令示例如下:select* from mushroom_classification_one_hot;返回结果如下:使用DataWorks的临时查询功能,新建MaxCompute ODPS SQL节点,...

节点配置

配置ODPS SQL节点ods_user_trace_log 双击ods_user_trace_log节点,进入节点配置界面,编写处理逻辑。SQL代码如下。insert overwrite table ods_user_trace_log partition (dt=${bdp.system.bizdate})selectmd5,uid ts,ip,status,bytes,...

管理表

删除生产环境的表:新建一个ODPS SQL节点,详情请参见创建ODPS SQL节点。在ODPS SQL节点中,输入并执行删除表的语句。提交并发布至生产环境。数仓分层表的编辑页面中的物理模型设计,用于为您构建数仓分层。让您在管理数据时,可以对数据有...

报错:FAILED:ODPS-0420061:Invalid parameter in ...

问题症状如果您购买了MaxCompute服务,在项目中执行相应的MaxCompute SQL语句。此时,您可能会收到以下的报错信息:FAILED: ODPS-0420061:Invalid parameter in HTTP request - Read table timeout. Maybe too many files to open.Please ...

数据开发

创建ODPS SQL节点的详情请参见创建ODPS SQL节点,删除表的语法格式请参见表操作。PyODPS是否支持调用自定义函数来使用第三方包?如果您不想通过DataFrame的map方法使用test函数,PyODPS同样支持直接调用自定义函数来导入第三方包,详情请...

ListFileType

Keyword String 否 ODPS SQL 节点类型的名称。您可以登录DataWorks控制台,进入数据开发界面,在左侧导航栏查看某类型节点的名称。配置说明如下: 支持查看中英文名称,但该参数查看的名称语言需要与Locale参数的语言类型一致。支持模糊...

迁移Oracle数据至MaxCompute最佳实践

本文为您介绍如何通过DataWorks的数据集成功能,迁移Oracle数据至MaxCompute。...在ODPS SQL节点编辑页面输入如下语句。查看是否成功写入MaxCompute。select* from good_sale;单击图标运行代码。您可以在运行日志查看运行结果。

创建ODPS MR节点

ODPS MR类型节点的编辑和使用方法,请参见WordCount示例。操作步骤 进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。创建JAR资源。鼠标悬停至图标,...

PyODPS查看一级分区

ODPS SQL节点中输入如下代码。insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击运行,将数据插入到分区表user_detail中。使用PyODPS查看一级分区。登录...

配置资源属性

数据同步节点、Shell节点ODPS SQL节点和ODPS MR节点支持使用公共资源组、独享资源组和自定义资源组。PAI节点仅支持使用公共资源组。除PAI节点外的其它节点默认支持使用公共资源组和独享资源组。操作步骤 登录DataWorks控制台。在左侧导航...

使用MaxCompute分析IP来源最佳实践

ODPS SQL节点编辑页面,输入如下语句。select*from ipresourceWHERE ipint('1.2.24.2')>= start_ipAND ipint('1.2.24.2')单击图标运行代码。您可以在运行日志查看运行结果。icmsDocProps={'productMethod':'created','language':'zh-CN',...

JSON数据从OSS迁移至MaxCompute

ODPS SQL节点编辑页面输入如下语句。查询表mq_data数据。SELECT*from mqdata;获取JSON文件中的EXPENSIVE值。SELECT GET_JSON_OBJECT(mqdata.MQdata,'$.expensive')FROM mqdata;单击图标运行代码。您可以在运行日志查看运行结果。...

SQL概述

本文为您介绍MaxCompute SQL的关键字、类型转换说明、分区表、UNION ALL运算及使用限制。SQL概述MaxCompute SQL适用于海量数据(GB、TB、EB级别)、离线批量计算的场合。MaxCompute作业提交后会有几十秒到数分钟不等的排队调度,所以适合...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折