文章 2025-03-01 来自:开发者社区

Flink Materialized Table:构建流批一体 ETL

摘要:本文整理自阿里云智能集团 、Apache Flink Committer 刘大龙老师在 Flink Forward Asia 2024 流批一体(一)专场中的分享。主要分为以下三个方面: A User Story Of Data Engineer Materialized Table 构建流批一体 ETL Demo ...

Flink Materialized Table:构建流批一体 ETL
文章 2025-02-14 来自:开发者社区

Flink Materialized Table:构建流批一体 ETL

摘要:本文整理自阿里云智能集团 、Apache Flink Committer 刘大龙老师在 2024FFA 流批一体论坛的分享。内容主要为以下三个部分: 一、A User Story Of Data Engineer 二、Materialized Table 构建流批一体 ETL 三、Demo 一、A User Story Of Data Engineer 如今,数据湖(Data L...

Flink Materialized Table:构建流批一体 ETL
问答 2024-12-11 来自:开发者社区

flink cdc 支持同步mysql 的truncate table 语句吗

flink cdc支持同步MySQL的truncate table吗 在源表运行了 ,同步表没反应。 使用的pipeline模式进行同步的。 在官方文档没找到truncate相关的,求大佬们帮忙看看

阿里云文档 2024-10-14

Flink CDC写入MaxCompute

MaxCompute为您提供对接Flink CDC的新版插件Connector连接器。您可以通过对接Flink CDC,将数据源(例如MySQL)数据实时同步至MaxCompute的目标表(普通表或Delta表)。本文为您介绍MaxCompute新版插件的能力支持情况与主要操作流程。

问答 2024-08-28 来自:开发者社区

在Flink定义了两个mongo table,这里的血缘展示两个mongo表是期望的吗?

在Flink定义了两个mongo table,用的是相同的collection, 这里的血缘展示两个mongo表是期望的吗?

问答 2024-07-31 来自:开发者社区

vvr flink sql使用catalog的话如何为表添加/覆盖新的table option呢?

vvr flink sql使用catalog的话如何为表添加/覆盖新的table option呢?

问答 2024-07-31 来自:开发者社区

在Flink CDC中,调整 include table 值有40多张表又提示这个错误了?

在Flink CDC中,调整 include table 值是 '.' 整库600多张表同步也是这个报错, 调整成 'ID_.' 只有10多张表的时候可以,然后调整为 ID.*|ASSET.|APP_. 有40多张表又提示这个错误了?

问答 2024-07-31 来自:开发者社区

在Flink CDC中,能够添加 source table 所在的 host 和 port?

在Flink CDC中,https://github.com/apache/flink-cdc/pull/3461能够添加 source table 所在的 host 和 port? 有一个需求 pipeline jdbc sink 记录脏数据来源哪个数据库实例(分库分表多数据库实例场景)

问答 2024-07-30 来自:开发者社区

Flink如何通过Dynamic Table解决消息队列无法有效进行实时分析的问题?

Flink如何通过Dynamic Table解决消息队列无法有效进行实时分析的问题?

问答 2024-07-10 来自:开发者社区

Flink CDC如何在 table 中获取 op 类型是 -U +U 还是 I 还是 D?

Flink CDC如何在 table 中获取 op 类型是 -U +U 还是 I 还是 D?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注