阿里云大数据开发治理平台 DataWorks sql 的相关内容

阿里云文档 2025-02-07

ADB Spark SQL的使用

DataWorks的ADB Spark SQL节点可进行AnalyticDB Spark SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用ADB Spark SQL节点进行任务开发的主要流程。

阿里云文档 2025-02-06

创建Flink SQL Batch节点

Flink SQL Batch节点使您能够使用标准SQL语句定义和执行数据处理任务，适用于大数据集的分析与转换，包括数据清洗和聚合。该节点支持可视化配置，为您提供高效且灵活的大规模数据批处理方案。在Flink SQL Batch节点中，您可以使用类SQL语句完成大规模数据加工的批处理。本文将介绍如何在Flink SQL Batch节点中配置和使用SQL语句来完成数据的批处理。

阿里云文档 2025-02-06

DataWorks新版数据开发中的Flink SQL Streaming节点支持使用标准SQL语句定义实时任务处理逻辑。Flink SQL Streaming具有易用性、丰富的SQL支持、强大的状态管理及容错能力，兼容事件时间和处理时间，并可灵活扩展。该节点易于与Kafka、HDFS等系统集成，提供详尽的日志和性能监控工具。您只需在DataWorks项目中添加Flink SQL Streaming...

阿里云文档 2025-02-06

创建Hologres SQL节点

Hologres与MaxCompute在底层实现了无缝连接，使您无需迁移数据，即可通过Hologres SQL节点直接使用标准的PostgreSQL语句来查询和分析MaxCompute中的大规模数据，从而快速获得查询结果。

阿里云文档 2025-02-05

MaxCompute SQL节点

DataWorks提供的MaxCompute SQL节点，可用于周期性调度MaxCompute的SQL任务，并支持与其他类型节点集成以及联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks上开发MaxCompute SQL节点任务。

问答 2024-03-19 来自：开发者社区

阿里云dataworks从SQL查询数据想转换到python进行数据分析，怎么样的操作路径？

阿里云dataworks从SQL查询数据想转换到python进行数据分析，怎么样的操作路径，有操作指引吗？谢谢！

文章 2022-12-18 来自：开发者社区

阿里云-DataWorks- ODPS SQL开发4-SQL性能优化

前言前几篇我们讲解了ODPS数据开发过程中会大量用到的各种日期与字符、数学运算、聚合、开窗、自定义等函数，今天我们针对海量数据开发过程数据开发效率优化做讲解。常见数据优化问题数据倾斜问题 1、大表关联小表大表关联小表出现倾斜时，可以使用mapjoin的hint(/+mapjoin(b)/)。同时可适当调整mapjoin中小表的内存大小： set odps.sql.mapjoin.mem...

文章 2022-12-17 来自：开发者社区

阿里云-DataWorks- ODPS SQL开发3-日期与字符、数学运算、聚合函数函数

前言本文主要讲解日常大量会接触到的一些常用的日期与字符、数学运算、聚合函数函数一、日期函数GETDATE函数: 获取当前系统时间SELECT GETDATE();执行结果: 2022-12-15 20:33:23DATEADD函数: 日期增减SELECT DATEADD(GETDATE(),1,'dd');执行结果: 2021-06-28 20:34:17SELECT DATEADD(GETDA....

文章 2022-12-17 来自：开发者社区

阿里云-DataWorks- ODPS SQL开发2

前言我们在DataWorks空间下做数据开发时会经常用到大量的函数，本文主要讲解日常大量会接触到的一些。常用函数与关键词：1、coalesce（expr1，expr2）返回列表中第一个非null的值2、concat（string A，string B）将参数中的所有字符串连接在一起如果没有参数或者有某个参数为null就返回null3、cast（expr as ）将表达式的结果...

文章 2022-12-17 来自：开发者社区

阿里云-DataWorks- ODPS SQL开发

ODPS SQL用户最熟悉使用SQL对数据分析了。ODPS也支持SQL查询操作，而且语法类似于Hive 的HQL。SQL操作的主要对象是表，数据量可在T级到P级。SQL中提供的功能有：DLL：表、列、分区、视图、生命周期等操作；DML：数据更新、多路输出以及动态分区输出；Join：多表关联分析，支持 inner , left , right full join 以及mapjoin;窗口函数：....