
基于 Flink CDC 打通数据实时入湖
在构建实时数仓的过程中,如何快速、正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术,来解决业务数据实时入湖相关的问题。01 Flink CDC介绍CDC全称是Change Data Capture,捕获变更数据,是一个比较...
Flink CDC 数据入湖的挑战有哪些?
Flink CDC 数据入湖的挑战有哪些?
Flink CDC 的出现为数据入湖架构提供了哪些新思路?
Flink CDC 的出现为数据入湖架构提供了哪些新思路?
Flink CDC 来简化实时数据的入湖入仓包括哪些内容?
Flink CDC 来简化实时数据的入湖入仓包括哪些内容?

Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓
摘要:本文整理自伍翀 (云邪)、徐榜江 (雪尽) 在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章的主要内容如下:Flink CDC 介绍Flink CDC 的核心特性Flink CDC 的开源生态...

Flink CDC 如何简化实时数据入湖入仓
一、Flink CDC 介绍从广义的概念上讲,能够捕获数据变更的技术, 我们都可以称为CDC 技术。通常我们说的 CDC 技术是一种用于捕获数据库中数据变更的技术。CDC 技术应用场景也非常广泛,包括:● 数据分发,将一个数据源分发给多个下游...

Flink SQL Client实战CDC数据入湖
总览本文使用datafaker工具生成数据发送到MySQL,通过flink cdc工具将mysql binlog数据发送到kafka,最后再从kafka中读取数据并写入到hudi中。与此同时,在将数据写入到hudi中时,同步进行查询。组件版本与依赖datafaker 0.6.3mysql 5.7zo...
更新时间 2023-09-26 12:37:13
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。