问答 2024-05-29 来自:开发者社区

Flink读取CDC全量数据同步没有异常但是无法同步增量数据

Flink读取CDC全量数据同步没有异常但是无法同步增量数据

问答 2024-05-20 来自:开发者社区

Flink CDC里mysql-cdc 做全量历史数据同步的时候如何控制同步速度么?

Flink CDC里mysql-cdc 做全量历史数据同步的时候如何控制同步速度么?调整chunk-size参数大小么?想限速 用cdc-pipeline 下游doris的io负载有些高,配置还行 3fe 3be 32GB 128GB。替换库名,是的 配置没啥问题 但cdc的参数用的也都是默认的 scan.incremental.snapshot.chunk.size:8096scan.sn...

问答 2023-12-10 来自:开发者社区

Flink CDC在做 多表的 全量+增量 的mysqlCDC的数据同步,请问这个错误应该如何解决?

Flink CDC在做 多表的 全量+增量 的mysqlCDC的数据同步,当任务数量低于20个的时候,表都能正常运行,现在增至26个,开始有任务报错,并且它反复自动重启都失败。如下图红框。请问这个错误应该如何解决?。附上报错日志?

问答 2023-12-04 来自:开发者社区

Flink CDC任务里有三个 全量+增量 的数据同步。并没有下降(如下图红框),这是为什么呀?

Flink CDC任务里有三个 全量+增量 的数据同步。现在有两个已经完成了全量同步(如上图蓝框),但是我查看任务所占的内存,并没有下降(如下图红框),这是为什么呀?是否正常,可否优化?

问答 2023-09-27 来自:开发者社区

Flink CDC同步mysql数据到starrocks中,全量数据同步完后,增量数据不同步了?

Flink CDC同步mysql数据到starrocks中,全量数据同步完后,增量数据不同步了?

问答 2023-07-13 来自:开发者社区

各位大佬,Flink CDC中我在用flinkcdc做pg 的全量数据(9千万)同步时,总是会被占?

各位大佬,Flink CDC中我在用flinkcdc做pg 的全量数据(9千万)同步时,jvm heap总是会被占满,已经把heap 设置到10G了,还是不行,task就挂掉了,除了增加资源,还有什么别的办法吗?现在是单机的?

问答 2023-06-11 来自:开发者社区

请问在使用Flink CDC中mongo cdc的时候,全量数据同步完成后,不会同步增量数据,这种?

请问在使用Flink CDC中mongo cdc的时候,全量数据同步完成后,不会同步增量数据,这种问题有人遇到过吗,我建了一个issue: https://github.com/ververica/flink-cdc-connectors/issues/2183?增量数量的量不小,我直接用mongo change stream是可以拉到数据的

问答 2023-04-26 来自:开发者社区

flink cdc 同步mysql8.0数据库 初始化全量数据同步成功 变更数据 获取出现空指针异

flink cdc 同步mysql8.0数据库 初始化全量数据同步成功 变更数据 获取出现空指针异常 有大佬遇到过么

问答 2023-03-08 来自:开发者社区

请问一下,用CDC做数据的全量和增量一体化数据同步,是要一直监听mysql吗?

请问一下,用CDC做数据的全量和增量一体化数据同步,是要一直监听mysql吗,这样不会造成mysql压力过大吗?

问答 2023-02-06 来自:开发者社区

为什么cdc直接全量同步多个表的联查结果,但是数据同步到100w+的时候算子就开始不停的失败?

为什么cdc直接全量同步多个表的联查结果,但是数据同步到100w+的时候算子就开始不停的失败?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。