问答 2022-05-08 来自:开发者社区

Flink CDC是如何实现全增量一体化数据集成的呢?

Flink CDC是如何实现全增量一体化数据集成的?

问答 2022-01-19 来自:开发者社区

Flink CDC 区别于其他数据集成框架的一个核心点是什么?

Flink CDC 区别于其他数据集成框架的一个核心点是什么?

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2022-01-19 来自:开发者社区

Flink CDC 社区怎么做好数据集成场景?

Flink CDC 社区怎么做好数据集成场景?

问答 2022-01-19 来自:开发者社区

《Flink CDC:新一代数据集成框架》这本书可以在哪里下载?

《Flink CDC:新一代数据集成框架》这本书可以在哪里下载?

文章 2021-12-31 来自:开发者社区

免费下载!Flink Forward Aisa 系列专刊|Flink CDC 新一代数据集成框架 - 技术原理、入门与生产实践

点击免费下载《Flink CDC 新一代数据集成框架》“全增量一体化数据集成““实时数据入湖入仓““最详细的免费教程”《Flink CDC 新一代数据集成框架》由阿里巴巴技术专家,Apache Flink PMC Member & Committer 伍翀 (云邪) 出品,旨在帮助读者能更全面地了解 Flink CDC。在这本专刊里你可以了解到:Flink CDC 的底层原理设计是什么样....

免费下载!Flink Forward Aisa 系列专刊|Flink CDC 新一代数据集成框架 - 技术原理、入门与生产实践
文章 2021-12-08 来自:开发者社区

江铃汽车基于 Flink 构建数据集成平台的设计与实现

江铃汽车股份有限公司成立于1968年,是中国TOP 20 汽车制造厂商,同时也是《财富》中国企业500强。江汽车建立了研发、物流、销售服务和金融支持等符合国际规范的体制和运行机制,成为中国本地企业与外资合作成功的典范。 在大数据建设方面江铃汽车选择跟阿里云强强合作,通过阿里云实时计算平台帮助公司了构建统一是实时计算中心,并服务于车辆中心,智慧车队,实时大屏多个业务线和多个实时场景,实现了实时业务....

文章 2021-12-07 来自:开发者社区

伴鱼基于 Flink 构建数据集成平台的设计与实现

数据仓库有四个基本的特征:面向主题的、集成的、相对稳定的、反映历史变化的。其中数据集成是数据仓库构建的首要前提,指将多个分散的、异构的数据源整合在一起以便于后续的数据分析。将数据集成过程平台化,将极大提升数据开发人员的效率。本文主要内容为:数据集成 VS 数据同步集成需求数据集成 V1数据集成 V2线上效果总结Flink 中文学习网站https://flink-learning.org.cnA ....

伴鱼基于 Flink 构建数据集成平台的设计与实现
文章 2021-04-14 来自:开发者社区

知乎的 Flink 数据集成平台建设实践

本文由知乎技术平台负责人孙晓光分享,主要介绍知乎 Flink 数据集成平台建设实践。内容如下:业务场景历史设计全面转向 Flink 后的设计未来 Flink 应用场景的规划一、业务场景很高兴和大家分享近期知乎以 Flink 为基础,重构上一代数据集成平台过程中的一些收获。数据集成平台作为连接各种异构数据的纽带,需要连接多种多样的存储系统。而不同的技术栈和不同的业务场景会对数据集成系统提出不同的设....

知乎的 Flink 数据集成平台建设实践
文章 2021-02-26 来自:开发者社区

基于 Flink SQL 构建流批一体的 ETL 数据集成

本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享,该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容如下:数据仓库与数据集成数据接入(E)数据入仓/湖(L)数据打宽(T)数据仓库与数据集成数据仓库是一个集成的(Integrated),面向主题的(Subject-Oriented),随时间变化的(Time-V....

基于 Flink SQL 构建流批一体的 ETL 数据集成
文章 2020-07-23 来自:开发者社区

字节跳动基于 Flink 的 MQ-Hive 实时数据集成

在数据中台建设过程中,一个典型的数据集成场景是将 MQ (Message Queue,例如 Kafka、RocketMQ 等)的数据导入到 Hive 中,以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层,因此对数据的准确性以及实时性要求比较高。 本文主要围绕 MQ-Hive 场景,针对目前字节跳动内已有解决方案的痛点,提出基于 Flink 的实时解决方案,并介绍新方案在字节跳....

字节跳动基于 Flink 的 MQ-Hive 实时数据集成

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注