Dataphin实时任务Flink SQL预编译报错“Unsupported ...

问题描述 Flink SQL预编译报错Unsupported options found for odps。解决方案 value.format不支持odps,需要把代码中的set value.format语句删掉再重新编译。适用于 Dataphin-实时任务

概述

Flink全托管开发控制台为您提供作业开发、作业启动、作业调试、管理自定义函数、配置Hive Metastore和管理...Flink SQL开发指南主要包含以下内容:作业开发 作业启动 作业调试 管理自定义函数(UDF)配置Hive Metastore 管理自定义Connectors

创建Flink SQL任务

Dataphin支持创建Flink SQL代码任务。本文为您介绍如何基于Ververica Flink实时引擎创建Flink SQL任务。背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过...

新建Flink SQL类型的公共节点

Flink SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...

新建Flink SQL类型的公共节点

Flink SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...

什么是ETL

为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式 可视化处理编辑:ETL任务界面当前提供三种组件(输入/维表、转换、输出),简单拖拽组件即可快速搭建流处理任务。丰富的开发组件: 输入/维表组件(即源库)支持自建...

流式ETL

为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式: 可视化处理编辑:ETL任务界面当前提供三种组件(输入/维表、转换、输出),简单拖拽组件即可快速搭建流处理任务。丰富的开发组件: 输入/维表组件(即源库)支持自建...

配置流程

生成Flink SQL校验:在页面上方提示Flink SQL校验完成,说明Flink SQL生成成功。如果校验失败,您可以单击生成Flink SQL校验右侧的查看ETL校验详情,并根据提示信息修复后,重新进行生成Flink SQL校验。发布:系统会先进行生成Flink SQL...

通过Flink连接并使用宽表引擎

背景信息 您可以将云原生多模数据库Lindorm宽表作为Flink中的维表或者结果表,通过Flink SQL或者Flink DataStream访问Lindorm宽表。注意事项 使用Lindorm宽表作为Flink的维表或者结果表时,创建表的DDL语句需要使用连接地址。通过Flink访问...

但是代码任务或者即席SQL中查询报“T

问题描述 Dataphin中创建的镜像表和元表在资产地图中可以找到,但是代码任务或者即席SQL中查询报“Table not found。问题原因 元表和镜像表是实时开发用到的,即席SQL...SQL任务查询看能否查询到数据。更多信息 创建Filnk任务 适用于 Dataphin

通过Flink SQL模式配置ETL任务

Flink SQL是ETL为了简化计算模型、降低使用门槛而设计的一套符合标准SQL语义的开发语言。相对于DAG模式(可视化拖拽方式),Flink SQL的功能更为强大,您可在Flink SQL的命令窗口中输入DAG模式暂不支持的语法。本文将介绍如何通过Flink SQL...

2020-07-23版本

本文为您介绍2020-07-23号发布的Flink全托管版本的重大功能变更。版本重大功能变更 支持开源Flink1.11版本。新增多种内置Connector:源表 日志服务SLS源表 ...SQL作业开发,包括:SQL编辑器 元数据管理 UDF管理 支持单作业Autopilot自动调优。

概述

本文为您介绍Flink SQL支持的窗口函数以及窗口函数支持的时间属性和窗口类型。窗口函数 Flink SQL窗口函数支持基于无限大窗口的聚合(无需在SQL Query中,显式定义任何窗口)以及对一个特定的窗口的聚合。例如,需要统计在过去的1分钟内有...

Flink SQL参考

Flink SQL是为了简化计算模型、降低您使用Flink门槛而设计的一套符合标准SQL语义的开发语言。本文通过以下方面,为您介绍Flink SQL的使用方法。操作 文档 关键字 关键字 创建数据视图 创建数据视图 DDL数据定义语句 创建数据源表 日志服务...

概述

边缘端SQL语法与云端Flink SQL语法完全一致,语法说明请参见Flink SQL概述。在流数据分析中,数据存储用源表、维表、结果表来表示。但由于运行环境不一样,边缘端与云端支持的数据存储大部分是不相同的。类型 描述 源表 流式数据存储,驱动...

概述

Flink SQL是为了简化计算模型、降低您使用Flink门槛而设计的一套符合标准SQL语义的开发语言。本文通过以下方面,为您介绍Flink SQL的使用方法。操作 文档 关键字 关键字 创建数据视图 创建数据视图 DDL数据定义语句 创建数据源表 日志服务...

新建元表

SQL字段类型与原始字段类型为多对一,则需选择Flink SQL字段类型。由Flink SQL字段类型映射出原始字段类型,此时原始字段类型只作展示,无法进行编辑,例如Kafka。如果此种数据源的Flink SQL字段类型与原始字段类型为一对多,则先选择原始...

数据迁移和同步方案概览

Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入(19.15.2.2) 从MaxCompute外表导入(20.3及以上)从RDS MySQL导入/同步 RDS ...

通过数据湖元数据DLF读写Hudi

SQL步骤三:创建并验证Catalog步骤四:Flink SQL写入Hudi步骤五:DataLake集群查询Hudi步骤一:环境准备拷贝DataLake集群中${HIVE_CONF_DIR}下的hive-site.xml到DataFlow集群。例如,${HIVE_CONF_DIR}为/etc/taihao-apps/hive-conf/。mkdir...

开源Flink 1.11及以上版本实时写入

jar-with-dependencies Flink SQL写入数据至Hologres代码示例 您可以参照如下代码示例,通过将Flink SQL将数据写入Hologres。其中,更多详细的代码示例请参见Hologres GitHub官方库。String createHologresTable String.format("create ...

数据开发概述

支持 Flink SQL任务粗粒度配置 支持 支持 支持 Flink SQL任务细粒度配置 支持 支持 不支持 Flink SQL任务智能资源配置 支持 支持 不支持 SQL建议(实时模式)支持 不支持 不支持 DataStream任务 支持 支持 支持 DataStream任务粗粒度配置 ...

Queries语句

SQL支持标识符包含非英文或数字的字符,例如,以下是符合标准的SELECT a AS `my field` FROM t字符串常量Flink SQL使用单引号来表示字符串常量,而非使用双引号来表示,例如,SELECT 'Hello World' 为了在字符串表示单引号,您可以使用两个...

Flink SQL导入

本文介绍如何使用Flink SQL方式将Flink中的数据写入云数据库ClickHouse。使用限制 只有Flink计算引擎VVR 3.0.2及以上版本支持使用Flink SQL写入云数据库ClickHouse。前提条件 已在云数据库ClickHouse中创建表。更多信息,请参见创建表。已...

搭建基础环境

SQL作业并上线后测试数据生产 步骤五:在Kafka控制台查看测试数据 步骤一:使用云速搭CADT创建资源 登录CADT控制台,创建应用。登录CADT控制台。在顶部菜单栏,选择新建>官方模板库新建。在搜索框中,输入Flink迁移后,按回车键。鼠标悬浮...

2021-12-16版本

支持整库同步的Flink SQL语义。详情请参见CREATE TABLE AS(CTAS)语句、CREATE DATABASE AS(CDAS)语句和数据实时入仓入湖快速入门。支持Gemini Statebackend将state存储到OSS上。优化作业资源管理方案。优化DataStream Connector。详情...

2022-03-04版本

Managers日志 提供Flink+Clickhouse多个企业级特性 支持Exactly Once语义。针对开源大数据平台E-MapReduce中的ClickHouse组件(非云Clickhouse产品)提供Exactly Once语义。支持ClickHouse的Nested类型。对于ClickHouse的Nested类型,可以...

2020年

操作审计日志 2020-12-07 Flink SQL 新功能 IntervalJoin语句可以让两个流进行JOIN时,左流和右流中每条记录只关联另外一条流上同一时间段内的数据,且进行完JOIN后,仍然保留输入流上的时间列,让您继续进行基于Event Time的操作。...

作业开发

操作步骤 为了方便您编写和管理Flink SQL作业,提高作业开发效率,Flink全托管产品为您提供Flink SQL的全套功能,包括元数据管理、UDF注册和SQL编辑器等。登录Flink全托管控制台,新建作业。登录实时计算管理控制台。在Flink全托管页签,...

节点类型说明

Flink SQL Flink 流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。Flink Vvr SQL Flink Vvr 流式节点,运行于Flink ...

Zeppelin概述

Flink SQL%flink.ssql表示执行Flink SQL代码。在运行下面的示例前,需要先运行下面的代码以构建一个模拟用户日志的数据。flink import org.apache.flink.streaming.api.functions.source.SourceFunction import org.apache.flink.table.api...

DataFlow集群通过Hive Catalog连接数据湖元数据DLF

Flink SQL命令行中,创建Catalog。CREATE CATALOG hive_catalog WITH('type'='hive', 'default-database'='flink_dlf_hive','hive-version'='2.3.6', 'hive-conf-dir'='/root/test','hadoop-conf-dir'= '/etc/taihao-apps/hdfs-conf/');...

2022-05-16版本

SQL的开发效率和正确性。管理Kafka JSON Catalog CDAS新增分库分表同步能力 支持使用正则表达式定义库名,匹配数据源的多个分库下的源表,合并后同步到下游每张对应表名的目标表中,在分库下数据同步更加优雅高效。CREATE DATABASE AS...

自定义标量函数(UDSF)

SQL作业开发。详情请参见作业开发。获取ASI_UDSF_Source表中a字段中每行字符串中第2~4位的字符,代码示例如下。CREATE TEMPORARY TABLE ASI_UDSF_Source(a VARCHAR,b INT,c INT)WITH('connector' 'datagen');CREATE TEMPORARY TABLE ASI_...

创建维表

流数据分析没有专门为维表设计的DDL语法,只在标准的CREATE TABLE语法基础上增加一行PERIOD FOR ...SQL创建RDS维表的WITH参数一致,详情请参见创建云数据库RDS版维表。icmsDocProps={'productMethod':'created','language':'zh-CN',};

配置DataHub监控

自定义Flink SQL、维表JOIN、多流JOIN以及窗口函数等流计算特性。操作步骤 新增DataHub数据源。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据集成。在左侧导航栏,单击数据...

概述

SQL已经可以帮助您支持各种流计算场景。为了满足开发迭代需求或业务发展需求,SQL作业也需要不断变更,否则修改SQL作业后,并使用原来的状态数据重启作业,会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始,Flink全托管提供状态...

自定义标量函数(UDSF)

SQL作业开发。详情请参见作业开发。获取ASI_UDSF_Source表中a字段中每行字符串中第2~4位的字符,代码示例如下。CREATE TEMPORARY TABLE ASI_UDSF_Source(a VARCHAR,b INT,c INT)WITH('connector' 'datagen');CREATE TEMPORARY TABLE ASI_...

导入开源Flink数据至数仓版

SQL创建表并写入数据至AnalyticDB MySQL版的方法。通过Flink JDBC API写入数据的方法,请参见JDBC Connector。本文介绍的方法仅适用于Flink1.11及以上版本。若您需要将其他版本的Flink数据写入AnalyticDB MySQL版集群,那么: 针对Flink1....

Table/SQL JAR迁移至SQL

修改Flink SQL作业配置。在高级配置页签的附加依赖文件选项中,上传已下载的mysql-connector-java-8.0.27.jar和flink-connector-jdbc_2.11-1.13.0.jar两个JAR包。在资源配置页签,配置作业的并发度。本示例参考自建Flink集群作业运行命令,...

管理自定义Connectors

背景信息 在使用Flink SQL开发作业时,需要使用SQL Connectors连接您的源表、结果表和维表。Flink全托管产品支持云上常用的多种类型的Connectors,但相对于目前大数据常用的技术栈而言,仍然只是较少的一部分,为了支持您可以使用更多类型...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用