问答 2023-07-24 来自:开发者社区

Flink CDC差不多1s同步一条数据,效率很低,有没有优化方案?走的内网。

"问题1:Flink CDC差不多1s同步一条数据,效率很低,有没有优化方案?走的内网。我就是dinky上弄的。连接器版本checkpoint配的3000s问题2:这都20分钟了,是不是有点慢了,还没有数据写进去,写到KAfka。"

问答 2023-07-24 来自:开发者社区

Flink CDC中datastream模式同步完后能自动停止任务吗?

Flink CDC中datastream模式同步完后能自动停止任务吗?我想基于flinkcdc做数据加载,加载完成后做一些表关联结算计算判断是否符合数据归档条件。

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2023-07-24 来自:开发者社区

Flink CDC中怎么一个表一个job的,一个job可以同步多张表,是datastream模式?

Flink CDC中怎么一个表一个job的,一个job可以同步多张表,是datastream模式?还是flanksql模式?

问答 2023-07-24 来自:开发者社区

Flink CDC中我想用cdc同步新增的数据但是在测试的时为什么写入到目标库的时候数据减少了很多?

Flink CDC中我想用cdc同步新增的数据,更新和删除的不管, 但是在测试的时候发现,写入到目标库的时候数据减少了很多 ,有知道可能是什么原因的吗?没对数据做任何出处理, 就是 source - filter - sink。

问答 2023-07-24 来自:开发者社区

Flink CDC同步多机房部署如果挂了,重新拉起是不是会推部分重复数据?

Flink CDC同步多机房部署如果挂了,重新拉起是不是会推部分重复数据?

问答 2023-07-19 来自:开发者社区

flink cdc 整库同步MySQL 如何写入hudi,sink hudi的代码该如何写?

flink cdc 整库同步MySQL 如何写入hudi,sink hudi的代码该如何写?

问答 2023-07-19 来自:开发者社区

我使用flink CDC 整库同步 空指针异常什么原因?

我使用flink CDC 整库同步 空指针异常什么原因?

问答 2023-07-19 来自:开发者社区

请问flink cdc中这个同步一段时间后就会报这个错误 一般是啥原因造成的呀 ?

请问flink cdc中这个同步一段时间后就会报这个错误 一般是啥原因造成的呀 ?看日子是做表快照的时候数组越界。交替出现的 先出现上面这个数组越界 然后下面再报空指针。

问答 2023-07-19 来自:开发者社区

请问flink cdc 中Datastream api 可以设置每秒同步的条数的吗?

问题1:请问flink cdc 中Datastream api 可以设置每秒同步的条数的吗?问题2:那我怎么更好控制宽带的占用呢?因为初始化数据量比较大,然后不控制好条数,宽带直接占满了。

问答 2023-07-13 来自:开发者社区

大佬,请问Flink CDC中全量同步阶段可以指定哪些参数加快速度呢?

大佬,请问Flink CDC中全量同步阶段可以指定哪些参数加快速度呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注