基于Flink+Hologres搭建实时数仓
本文为您介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时...
开通Flink全托管
在实时计算控制台上，您可以在 Flink全托管 页签，单击目标工作空间的 更多>工作空间详情，查看空间名称、工作空间ID、OSS Bucket、专有网络名称和ID、虚拟交换机等信息。添加项目空间 工作空间创建后默认生成一个名称为工作空间名称-...
基于Flink+Hologres搭建实时数仓
本文为您介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时...
提交Flink作业
本文为您介绍如何提交Flink作业。前提条件 已在E-MapReduce on ACK控制台创建Flink集群，详情请参见 快速入门。方式一：通过ACK控制台提交作业 登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群所在行 所属ACK集群 列的链接。在 ...
Flink Python作业快速入门
步骤二：上传Python文件 登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理 单击 上传资源，选择您要上传的Python文件或者提供的Python测试文件。说明 在Python作业中使用其他...
Flink SQL作业快速入门
实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 SQL开发。单击 新建。单击 空白的流作业草稿。Flink全托管也为您提供了丰富的代码模板和数据同步，每种代码模板都为您提供了具体的使用...
Flink SQL参考
Flink SQL是为了简化计算模型、降低您使用Flink门槛而设计的一套符合标准SQL语义的开发语言。本文通过以下方面，为您介绍Flink SQL的使用方法。操作 文档 关键字 关键字 创建数据视图 创建数据视图 DML数据操作语句（INSERT INTO）INSERT ...
Flink
本文为您介绍创建Flink类型任务时涉及的参数。参数 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务。禁止执行：运行工作流不会执行该任务。描述 当前节点的功能描述...
Flink
Flink是流式计算引擎。本文为您介绍如何在Zeppelin中使用Flink。背景信息 Zeppelin支持Flink的3种主流语言，包括Scala、PyFlink和SQL。Zeppelin中所有语言共用一个Flink Application，即共享一个ExecutionEnvironment和...
基于Flink的资讯场景实时数仓
本文介绍如何针对资讯聚合类业务场景搭建基于 云消息队列 Kafka 版 和实时计算Flink的实时数仓。场景描述 本文首先介绍什么是实时数仓以及相关技术架构，接着介绍资讯聚合类业务的典型场景及其业务目标，并据此设计了相应的技术架构。然后...
通过Flink访问宽表引擎
您可以使用社区版Flink或阿里云实时计算版Flink访问 云原生多模数据库 Lindorm 宽表。本文介绍同时适用于阿里云Flink和社区版Flink访问Lindorm宽表的...如果您使用阿里云实时计算Flink访问Lindorm宽表，具体操作请参见 创建Lindorm结果表。
新建FLINK_SQL任务
配置Ververica Flink实时模式资源。时间参数：用于配置实时计算任务的运行时间偏移。配置说明，请参见 实时模式时间参数配置。Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序...
从Flink SQL导入
登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在 SQL开发 页面，单击 新建。单击 空白的流作业草稿 后。Flink全托管为您提供了丰富的代码模板和数据同步，每种代码模板都为您提供了具体的使用场景、...
基于Flink的实时大数据应用Demo
相关文档 什么是阿里云实时计算Flink版 应用场景 实时数仓Hologres使用流程
如何购买Flink半托管集群
问题描述 如何购买Flink半托管集群 问题原因 查看Flink全托管控制台，存在Flink半托管/ACK的选项，但是没有找到创建Flink半托管的入口。解决方案 目前Flink控制台已不再支持创建Flink半托管集群...更多信息 产品形态 适用范围 实时计算Flink版
Flink Connector 配置
Flink Connector 使用 Connector 准备 参考 管理自定义连接器，上传igraph Connector的jar包。jar包地址： 上传成功如图所示 Propoerties详解 名称 类型 是否必须 描述 endpoint string 是 igraph实例对应的endpoint username string 是 ...
Flink消费
Connector是日志服务提供的用于对接Flink的工具，支持对接开源Flink和实时计算Flink版。本文介绍如何对接Flink消费日志数据。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project 和 创建Logstore。已创建RAM用户并完成授权。...
Flink指标
本文为您介绍Flink指标的详细信息。注意事项 以下几个指标参数需要Flink作业中配置了上下游的source和sink才会有输出： currentEmitEventTimeLag currentFetchEventTimeLag Operator CurrentSendTime sourceIdleTime watermarkLag Flink...
Flink请求代理
调用FlinkApiProxy完成对flink请求的代理。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
Paimon与Flink集成
E-MapReduce支持通过Flink SQL对Paimon进行读写操作。本文通过示例为您介绍如何通过Flink SQL对Paimon进行读写操作。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群，支持Flink SQL对Paimon进行读写操作。操作步骤 步骤一：...
使用Flink访问
本文介绍使用自建的Apache Flink访问文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。在计算节点上安装JDK，版本不能低于1.8。在计算节点上安装Scala。Scala下载地址为 官方链接，其版本要与使用的Apache Spark版本相兼容。下载...
Flink全托管
Flink构建的全托管产品，为您提供全托管的实时计算服务。Hologres与Flink全托管高度兼容，支持Hologres源表、维表和结果表，以及Catalog等功能，满足一站式实时数仓建设。本文为您介绍如何使用Hologres作为Flink全托管的上下游存储。...
Flink指标
本文为您介绍Flink指标的详细信息。Flink指标包含以下部分：Overview Checkpoint Network IO Watermark CPU Memory JVM Overview 参数 指标 描述 Num Of RunningJobs flink_jobmanager_numRunningJobs JM中正在运行的作业数。Job Uptime ...
Dataphin中Flink任务执行报错
问题描述 Dataphin中Flink任务执行报错。CREATE TEMPORARY TABLE tbl_test(id int,num int) WITH(&'connector'='kafka',&'topic'='order_line',& 'properties.bootstrap.servers'= 'kafka1.xcf.net:9092,kafka2.xcf.net:9092,kafka3.xcf....
云速搭部署 Flink 应用
通过云速搭实现一个 DataHub+Flink 的实时流计算引擎架构，利用 DataHub ...产品列表 专有网络VPC 对象存储OSS 实时计算Flink版 DataV数据可视化 数据总线DataHub 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 Flink 应用》
使用ECI弹性调度Flink作业
Instance）调度Flink作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Flink作业。背景信息 如果您需要使用更多ECI的高级功能，可以通过设置更多的...
高性能Flink SQL优化技巧
实时计算目前的SQL优化器能分析出Filter参数，从而同一个字段上计算不同条件下的COUNT DISTINCT能共享State，减少对State的读写操作。性能测试中，使用AGG WITH FILTER语法来代替CASE WHEN能够使性能提升1倍。适用场景 对于同一个字段上...
Flink Table Store与Flink集成
E-MapReduce的Flink Table Store服务支持通过Flink SQL对Flink Table Store进行读写操作。本文通过示例为您介绍如何通过Flink SQL对Flink Table Store进行读写操作。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持通过Flink SQL对...
查看Flink作业日志和访问Flink Web UI
本文为您介绍，如何查看运行中的Flink作业的日志和访问对应作业的Web UI。前提条件 已在E-MapReduce on ACK控制台创建Flink集群，详情请参见 快速入门。查看Flink作业日志 登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群所在行 ...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持三种开发方式：原生DDL+DML开发、使用Dataphin元表进行开发、以及使用计算源物理表进行开发。不同开发方式的使用方法、使用场景以及优缺点不同。本文将为您介绍各开发方式帮助您更好的完成Flink_SQL任务开发。...
Flink全托管资源管理
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 Flink全托管资源概述。前提条件 在开始执行操作之前，请确认您...
Flink全托管服务等级协议（SLA）
Flink全托管服务等级协议（SLA）的详情，请参见 Flink全托管服务等级协议。
通过Flink读写AnalyticDB PostgreSQL数据
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
Flink数据导入
本文介绍如何将开源Flink中的数据导入 AnalyticDB MySQL版 数仓版（3.0）集群。前提条件 下载Flink驱动，并将其部署到Flink所有节点的${flink部署目录}/lib 目录下。您可以根据Flink版本下载对应的驱动：Flink 1.11版本：flink-connector-...
Flink/Blink实时消费Hologres Binlog
Flink实时消费Binlog VVP-2.4及以上版本支持Hologres Connector实时消费Binlog，使用方法如下。源表DDL（非CDC模式） 该模式下Source消费的Binlog数据是作为普通的Flink数据传递给下游节点的，即所有数据都是作为Insert类型的数据，可以...
- 产品推荐
- 这些文档可能帮助您