问答 2024-01-24 来自:开发者社区

Flink CDC里用Linux脚本编写的CDC任务,同步整库,但是只有一个表在同步数据,怎么回事?

Flink CDC里用Linux脚本编写的CDC任务,同步整库,但是只有一个表在同步数据,这是咋回事?./flink run -Dexecution.checkpointing.interval=60s -Dparallelism.default=1 -c org.apache.doris.flink.tools.cdc.CdcTools /usr/resource/flink/flink-1.....

问答 2024-01-24 来自:开发者社区

如果想用flink CDC实现双向同步,可以吗?

如果想用flink CDC实现双向同步,可以吗?

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2024-01-24 来自:开发者社区

Flink CDC里增量快照是单个作业内多并行度,但是多个作业、每个作业同步的不同库可以同时运行吗?

Flink CDC里增量快照是单个作业内多并行度,但是多个作业、每个作业同步的不同库,但不同库在一个实例下,这时能多个库的作业同时运行吗?怎么控制数据库中创建复制槽不阻塞呢?

问答 2024-01-24 来自:开发者社区

Flink CDC里整库同步的时候,因为源表有写字段是大文本,怎么解决同步问题?

Flink CDC里整库同步的时候,因为源表有写字段是大文本:longblob、text等等,这时候CDC就无法同步数据了,如何解决这个问题吗?

问答 2024-01-24 来自:开发者社区

Flink CDC里cdc3.0整库同步是不是不支持ddl同步啊?

Flink cdc 3.0整库同步是不是不支持ddl同步啊?

问答 2024-01-24 来自:开发者社区

Flink CDC里pgsql中,全量阶段多个作业启动时,不能多个作业并行进行全量同步吗?

Flink CDC里pgsql中,全量阶段多个作业启动时,不能多个作业并行进行全量同步吗,多个作业多个库分别启动作业后数据库中是同一事务,只能按顺序一个作业全量执行完了才能执行第二个?flink cdc 2.4.1的版本。

问答 2024-01-24 来自:开发者社区

Flink CDC 3.0对PostgreSQL的同步问题是否有专门的debezium 代码分支?

Flink CDC 3.0对PostgreSQL的同步问题,另外,我发现Flink CDC 3.0里面使用的debezium 1.9.7.Final, 下载它的源码发现它只能支持JDK11以上版本,但是Flink CDC 3.0支持的JDK版本可以是1.8, 请问是否有专门的debezium 代码分支?

问答 2024-01-24 来自:开发者社区

我使用Flink CDC 3.0对mysql整库同步到starrock中,任务挂掉是为啥?

我使用Flink CDC 3.0对mysql整库同步到starrock中,现在任务已经创建好了,mysql的表和数据都同步到starrock中了,现在发现的问题是,我在源表加了新字段,接着flink的任务就挂掉了是为什么?

问答 2024-01-24 来自:开发者社区

有人用过Flink CDC 3.0版本的整库同步吗?

有人用过Flink CDC 3.0版本的整库同步吗?我用Flink CDC3.0整库同步mysql到starRock提交任务异常,有人遇到过这个问题吗?

问答 2024-01-24 来自:开发者社区

Flink CDC里目前社区版本cdc支持整库同步了么?

Flink CDC里目前社区版本cdc支持整库同步了么?source是PG,sink是hudi。 后面有计划支持么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注