文章 2025-05-21 来自:开发者社区

Flink CDC 3.4 发布, 优化高频 DDL 处理,支持 Batch 模式,新增 Iceberg 支持

引言 Apache Flink 社区很开心地宣布,在经过4个月的版本开发之后,Flink CDC 3.4.0 版本已经正式发布。Flink CDC 是流行的流式数据集成框架,CDC 3.4.0 版本强化了框架对于高频表结构变更的支持,框架支持了 batch 执行模式,新增 Apache Iceberg Sink 连接器支持,用户可以使用 Flink CDC 将数据库数据全增量一体化实时写入 Ic....

Flink CDC 3.4 发布, 优化高频 DDL 处理,支持 Batch 模式,新增 Iceberg 支持
文章 2025-03-11 来自:开发者社区

基于Flink CDC 开发,支持Web-UI的实时KingBase 连接器,三大模式无缝切换,效率翻倍!

大数据时代,数据集成是企业数字化转型的核心环节之一。如何高效、实时地处理海量数据,成为了每个技术团队面临的挑战。今天,为大家介绍一款强大的开源大数据集成工具——TIS 4.1.0,它通过与人大金仓Kingbase的深度整合,为企业提供了更加高效、灵活的实时数据集成方案。 TIS +Flink-CDC + Ki...

基于Flink CDC 开发,支持Web-UI的实时KingBase 连接器,三大模式无缝切换,效率翻倍!
问答 2025-02-11 来自:开发者社区

Flink-CDC 2.4.0版本增量快照模式不生效

通过Flink DataStream Api传入了参数scan.incremental.snapshot.enabled = true,但运行时还是打印锁表操作的日志,没有开启增量快照模式Snapshot step 3 - Locking captured tables

问答 2024-11-27 来自:开发者社区

Flink Standalone模式下横向扩展TaskManager

我在其他服务器上另外启动了一个taskmanager,可以在Web UI上看到,可以看到它所在服务器的配置信息,但无法看到taskmanager的内存使用情况,而且往里面提交flink 作业的时候会提示没有空余的Slots?

文章 2024-10-14 来自:开发者社区

大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
文章 2024-10-14 来自:开发者社区

大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
文章 2024-10-14 来自:开发者社区

大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)

接上篇:https://developer.aliyun.com/article/1622699?spm=a2c6h.13148508.setting.15.27ab4f0eDPC5Re 服务启动 暂时就可以先启动进行测试了: cd /opt/servers/flink-...

大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
文章 2024-08-29 来自:开发者社区

实时计算 Flink版产品使用问题之mini-cluster模式下,怎么指定checkpoint的时间间隔

问题一:在Flink CDC项目中,我正在使用Flink PostgreSQL CDC功能是否支持断点续传? 在Flink CDC项目中,我正在使用Flink PostgreSQL CDC功能,想知道它是否支持断点续传(即从上次停止的位置恢复读取变更数据)。我已经设置了checkpoint,周期为3分钟,并且在每次checkpoint时保存了PostgreSQL CDC source的o...

实时计算 Flink版产品使用问题之mini-cluster模式下,怎么指定checkpoint的时间间隔
问答 2024-08-26 来自:开发者社区

Flink CDC yarn-session模式下flink进程挂掉的原因去哪里查呀?

Flink CDC yarn-session模式下flink进程挂掉的原因去哪里查呀?

文章 2024-08-22 来自:开发者社区

Flink四种集群模式原理

Flink的集群安装模式 Local——本地单机模式,学习测试使用 Standlone——独立集群模式,flink自带集群,学习测试使用 standloneHA——独立集群的高可用模式,flink自带集群,开发测试使用 On Yarn——计算机资源同意由Hadoop Yarn管理,生产模式使用 1. Local——本地单机模式 ...

Flink四种集群模式原理

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注