实时计算Flink版

阿里云实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。

2020-12-03版本

Connector):对于系统不支持的Source或者Sink,您可以快速扩展新连接器满足需求。详情请参见管理自定义Connectors。新增Session集群(Session-Cluster):您可自定义Session集群,Session集群可以复用JM资源节省小作业资源消耗,并支持较...

CONCAT_AGG

本文为您介绍如何使用实时计算聚合函数CONCAT_AGG。Flink SQL中使用CONCAT_AGG函数将对应字段的所有字符串连接成新的字符串。语法 CONCAT_AGG([linedelimiter,]value)入参 参数 数据类型 linedelimiter 目前只支持字符串常量。可选。功能...

概述

您可以增加maxJoinRows参数,表示在一对多连接时,左表一条记录连接右表的最大记录数(默认值为1024)。在一对多连接的记录数过多时,可能会极大的影响流任务的性能,因此您需要增大Cache的内存(cacheSize限制的是左表key的个数)。表格...

操作审计日志

InstanceId":"sc_flinkserverless_public_cn-xxxxxxxx","VSwitchIds": [\\\"vsw-xxxxx\\\",\\\"vsw-xxxxx\\\"]","AcceptLanguage":"zh-CN","RegionId": cn-shanghai","HostId":"foasconsole-share.cn-shanghai.aliyuncs.com" }, ...

创建云数据库MongoDB版结果表

本文为您介绍如何创建实时计算Flink版云数据库MongoDB版结果表,以及创建过程中涉及到的WITH参数。注意 本文仅适用于Blink 3.2.2及以上版本。MongoDB结果表不支持主键更新,数据输入形式为重复插入。DDL定义 实时计算Flink版支持使用...

创建云数据库RDS SQL Server版结果表

本文为您介绍如何创建云数据库RDS SQL Server版结果表,以及创建结果表时使用的WITH参数、类型映射和JDBC连接参数。注意 本文仅适用于Blink 3.2.0及以上版本。实时计算Flink版暂不支持引用RDS SQL Server版本作为数据存储。语法示例 实时...

创建分析型数据库PostgreSQL版结果表

本文为您介绍如何创建分析型数据库PostgreSQL版结果表,以及创建过程中涉及到的WITH参数和类型映射。注意 本文仅适用于Blink 3.6.0及以上版本。DDL定义 实时计算Flink版支持使用分析型数据库PostgreSQL版作为结果输出。示例代码如下。...

Blink-3.6.8

调整表格存储Tablestore连接超时时间为20s。主要缺陷修复 修复AutoScale运行期间出现作业失败无法恢复的问题。修复分析型数据库MySQL版2.0结果表出现NullPointerException报错的问题。修复使用RetracRank算子的作业出现...

创建云原生数据仓库AnalyticDB MySQL版2.0结果表

本文为您介绍如何创建云原生数据仓库AnalyticDB MySQL版2.0结果表,以及云原生数据仓库AnalyticDB MySQL版和实时计算Flink版字段类型之间的映射关系。注意 本文仅适用于Blink 1.4.5及以上版本。云原生数据仓库AnalyticDB MySQL版2.0数据库...

创建云数据库RDS版结果表

本文为您介绍如何创建实时计算Flink版云数据库RDS(DRDS)版结果表,以及创建结果表时使用的WITH参数和类型映射。注意 实时计算Flink版暂不支持通过数据存储功能中存储注册的方式使用RDS MySQL 8.0版本,建议您使用明文方式使用RDS MySQL 8...

产品安全

数据存储使用AES高强度加密方式连接信息,避免敏感信息泄露。实时计算系统通过全面且深入的攻击测试。阿里云安全团队为实时计算提供安全服务。业务数据安全 实时计算不负责存储用户的业务数据安全。业务数据安全交由不同的阿里云存储系统...

管理独享集群Blink版本

当前推荐安装的稳定版本 beta 测试版本 说明 在特定场景下才可安装使用,非特定场景不保证版本质量和稳定性,不建议安装。无标签 历史稳定版本 说明 一次只能安装一个版本,安装过程中集群状态显示为版本部署中。不可安装安装过的版本。...

VPC访问授权

Q:明文方式中,如何添加专有网络存储设备的URL参数?A:在使用明文方式引用VPC中的存储时,DDL WITH参数中的URL参数值需填写VPC访问授权页面中的Mapping IP和Mapping Port参数,例如,url='jdbc:mysql:/<mappingIP>:<mappingPort>/...

Blink-3.4.4

主要缺陷修复 RDS连接性问题:Blink使用Druid链接池链接RDS,优化Druid链接池链接RDS的方式,避免链接长时间不用导致作业的Failover。DataHub结果表:修复因一条数据中某一列为NULL,造成作业报错Caused by:java.lang.NullPointerException...

交互式分析Hologres维表

交互式分析Hologres兼容PostgreSQL协议,与大数据生态紧密连接,支持高并发、低延时实时分析处理PB级数据,让您轻松使用现有BI(Business Intelligence)工具对数据进行多维分析和业务探索。前提条件 已创建Hologres表,详情请参见表。使用...

CONCAT

本文为您介绍如何使用实时计算字符串函数CONCAT。语法 VARCHAR CONCAT(VARCHAR var1,VARCHAR var2,.) 入参 参数 数据类型 说明 var1 VARCHAR 普通字符串值 var2 VARCHAR 普通字符串值 功能描述 连接两个或多个字符串值从而组成一个新的字符...

如何使用

如果您使用的是独享集群,且只安装了一个系统版本,您需要先安装新版本再进行切换。详情请参见管理独享集群Blink版本。作业版本切换完成后,需要进行重新上线(生成新的planJSON)和启动作业操作,才能使更新后的系统版本在作业中生效。...

云数据库MongoDB版结果表

maxConnectionIdleTime 连接超时时长。否 默认值为60000,单位为毫秒。batchSize 每次批量写入的条数。否 默认值为1024。代码示例CREATE TEMPORARY TABLE datagen_source(v INT,p INT)with 'connector'='datagen');CREATE TEMPORARY TABLE ...

读取Kafka数据示例

本文为您介绍如何使用Datastream作业读取阿里云Kafka数据。前提条件 本地安装了Java JDK 8。本地安装了Maven 3.x。本地安装了用于Java或Scala开发的IDE,推荐IntelliJ IDEA,且已配置完成JDK和Maven环境。创建与实时计算独享模式相同VPC的...

表格存储Tablestore维表

本文为您介绍表格存储Tablestore维表DDL定义、WITH参数、CACHE参数和常见问题。什么是表格存储Tablestore 表格存储Tablestore是构建在阿里云飞天分布式系统之上的分布式NoSQL...常见问题 维表进行JOIN时,如果查询不到数据,应该如何处理?

TaskExecutor

TaskExecutor从JobManager处接收需要部署的Task,部署启动后,与上游建立Netty连接,接收数据并处理。登录TaskExecutor界面 登录实时计算控制台。单击界面顶部的运维。在作业列表区域,单击作业名称下的目标作业名。在作业运维界面,单击...

DataHub DataStream Connector

本文为您介绍如何在Flink全托管控制台上使用DataHub DataStream Connector来读写DataHub数据。背景信息 DataHub DataStream Connector基于DataHub SQL Connector代码开发,连接配置与对应SQL配置完全相同,SQL配置详情请参见DataHub源表...

CONCAT_WS

本文为您介绍如何使用实时计算字符串函数CONCAT_WS。语法 VARCHAR CONCAT_WS(VARCHAR separator,VARCHAR var1,VARCHAR var2,.)入参 参数 数据类型 说明 separator VARCHAR 分隔符 var1 VARCHAR- var2 VARCHAR-功能描述 将每个参数值和第一...

计量项

如果实时计算引用的RDS数据存储存在连接数或者TPS限制,则实时计算吞吐能力将受限于RDS本身的流控限制。如果作业中使用窗口函数,CU的使用量会比简单作业高,建议至少购买4CU。icmsDocProps={'productMethod':'created','language':'zh-CN'...

JOIN语句

注意 只支持等值连接,不支持非等值连接。只支持INNER JOIN和LEFT OUTER JOIN两种JOIN方式。Orders JOIN Products表的数据示例 测试数据 表 1.Orders rowtime productId orderId units 10:17:00 30 5 4 10:17:05 10 6 1 10:18:05 20 7 2 10...

表格存储Tablestore结果表

本文为您介绍表格存储Tablestore结果表的DDL定义...Connector连接Tablestore的Socket超时时间。否 单位毫秒,默认值为30000(30秒)。类型映射 Tablestore字段类型 Flink字段类型 INTEGER BIGINT STRING STRING BOOLEAN BOOLEAN DOUBLE DOUBLE

交互式分析Hologres结果表

下面通过一个示例来介绍如何设置。假设有两个Flink数据流,一个数据流中包含A、B和C字段,另一个数据流中包含A、D和E字段,Hologres宽表WIDE_TABLE包含A、B、C、D和E字段,其中A字段为主键。具体操作如下: 使用Flink SQL创建两张Hologres...

产品定价

容器服务ACK集群费用 云服务ECS计费说明请参见按量付费。NAT网关计费说明请参见NAT网关计费说明。负载均衡计费说明请参见按量计费。实时计算Flink版系统费用 实时计算Flink版使用的是大小为100 GB的高效云盘,云盘费用详情请参见创建云盘...

注册云原生数据仓库AnalyticDB MySQL版

注意 本文档仅适用于云原生数据仓库AnalyticDB MySQL版 2.0版本。云原生数据仓库AnalyticDB MySQL版 ...使用注册存储功能前,请先完成实时计算Flink版对...ID和AccessKey Secret信息查询方法请参见如何查看AccessKey ID和AccessKey Secret信息?

MaxCompute DataStream Connector

本文为您介绍如何在Flink全托管控制台上使用MaxCompute DataStream Connector来读写MaxCompute数据。背景信息 MaxCompute DataStream Connector基于MaxCompute SQL Connector代码开发,连接配置与对应SQL配置完全相同,SQL配置详情请参见全...

创建Oracle维表

本文为您介绍如何创建Oracle维表以及创建过程中涉及到的WITH参数、类型映射和属性字段等。DDL定义 CREATE TABLE oracle_dim employee_id BIGINT,phone_number BIGINT,dollar DOUBLE,PRIMARY KEY (employee_id))WITH(type='oracle_dim',url=...

读取DataHub数据写入阿里云HBase示例

本文为您介绍如何使用Datastream作业读取DataHub数据写入HBase。前提条件 本地安装了Java JDK 8。本地安装了Maven 3.x。本地安装了用于Java或Scala开发的IDE,推荐IntelliJ IDEA,且已配置完成JDK和Maven环境。在DataHub上创建了Topic,...

创建云原生数据仓库AnalyticDB MySQL版3.0结果表

本文为您介绍如何创建云原生数据仓库AnalyticDB MySQL版3.0结果表,以及创建过程中涉及的WITH参数。注意 云原生数据仓库AnalyticDB MySQL版3.0结果表暂不支持注册存储功能。本文仅适用于Blink 3.3.0及以上版本。云原生数据仓库AnalyticDB ...

2020-07-23版本

本文为您介绍2020-07-23号发布的Flink全托管版本的重大功能变更。版本重大功能变更 支持开源Flink1.11版本。新增多种内置Connector:源表 日志服务SLS源表 ...SQL作业开发,包括:SQL编辑 元数据管理 UDF管理 支持单作业Autopilot自动调优。

INITCAP

本文为您介绍如何使用实时计算字符串函数INITCAP。语法 VARCHAR INITCAP(A)入参 参数 数据类型 A VARCHAR 功能描述 返回字符串,每个字转换的第一个字母大写,其余为小写。示例 测试数据 var1(VARCHAR)aADvbn 测试语句 SELECT INITCAP...

签名机制

将等号连接得到的参数组合按照参数排序依次使用(&)符号连接,即得到规范化请求字符串。将上一步构造的规范化字符串按照下面的规则构造成待签名的字符串。StringToSign=HTTPMethod+“&”+percentEncode(“/”)+”&”+ percentEncode...

创建Oracle数据库源表

本文为您介绍如何创建Oracle数据库源表,以及创建源表时使用的WITH参数、类型映射、代码示例和常见问题。注意 本文仅适用于Blink 3.4.x及以上版本。仅支持使用Oracle 11g版本创建Oracle数据库源表。请不要手动修改Oracle Source节点的并发...

创建云数据库Redis维表

本文为您介绍如何创建云数据库Redis维表,以及创建过程中涉及的WITH参数、CACHE参数、类型映射和代码示例。注意 本文仅适用于Blink 3.2.2及以上版本。实时计算Flink版Redis维表仅支持引用Redis数据存储中STRING类型的数据。实时计算Flink版...

云原生数据仓库AnalyticDB MySQL版3.0结果表

说明 云原生数据仓库AnalyticDB MySQL版数据库连接信息,请参见URL地址查询。databaseName为云原生数据仓库AnalyticDB MySQL版数据库名称。username 用户名。是 无。maxRetryTimes 写入数据失败后,重试写入的次数。否 默认值为3。...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折