问答 2024-11-22 来自:开发者社区

FlinkCDC监听Mysql binlog,建立链接不会释放

如果有多个flink作业,每个都监听mysql内的binlog,每个都会与mysql建立链接并不会中断,过多占用mysql连接数影响其他进程与mysql的链接,有什么解决方法吗?

问答 2024-10-29 来自:开发者社区

为什么使用FlinkCDC和Kakfa Sink向Kakfa中发送binlog数据,会存在脏数据?

1.刚开始kafka配置的是精确一次,后来猜想可能与两阶段提交有关,修改为至少一次时候还是会存在该问题。 2.binlog数据和脏数据并非同时发送到kafka的,根据时间戳分析脏数据应该是在保存检查点的时候发送的。请问有大佬遇到过这个问题吗,要怎么处理啊?

问答 2024-08-26 来自:开发者社区

flinkcdc支持任务起动后不重启的情况下mysql source能捕获新建表的binlog吗?

cdc目前是不是不支持任务起动后不重启的情况下mysql source能捕获新建表的binlog?

问答 2024-08-26 来自:开发者社区

FLinkcdc 在初始化快照阶段的时候是不是就会记录下binlog点位?

FLinkcdc 在初始化快照阶段的时候是不是就会记录下binlog点位, 然后再快照完成后,从记录的binlog点位开始同步呢?

文章 2024-08-14 来自:开发者社区

大数据-业务数据采集-FlinkCDC The MySQL server is not configured to use a ROW binlog_format

Caused by: org.apache.kafka.connect.errors.ConnectException: The MySQL server is not configured to use a ROW binlog_format, which is required for this connector to work properly. Change the MySQL con....

大数据-业务数据采集-FlinkCDC The MySQL server is not configured to use a ROW binlog_format
问答 2024-07-10 来自:开发者社区

flinkcdc 采集mysql出现卡在某个binlog文件出不来怎么办?

flinkcdc 采集mysql出现卡在某个binlog文件出不来。 一直重复消费一个文件,看日志是先断开,在重建链接,然后消费binlog,最后Stopped reading binlog after 0 events, no new offset was recorded 。如此往复。 期间数据采集一直是重复的?

问答 2024-06-26 来自:开发者社区

flinkcdc在监听binlog时如果程序停掉,中途又新增,如何让程序在停掉的点重新监听?

flinkcdc在监听binlog时如果程序停掉,中途又新增,如何让程序在停掉的点重新监听?

问答 2024-06-24 来自:开发者社区

flinkcdc在监听binlog的时候如果程序停掉了,如何能让程序在停掉的那个点重新监听呢?

flinkcdc在监听binlog的时候如果程序停掉了,中途binlog又有新增,如何能让程序在停掉的那个点重新监听呢?

问答 2024-05-29 来自:开发者社区

flinkcdc mysql 在同步binlog时是同步一份还是多份给 flink?

flinkcdc中mysql 分库不分表的场景,需要同步多个表,flink sql 中会针对多个表有多个source ,那 mysql 在同步binlog时是同步一份还是多份给 flink? 担心原实例binlog同步给多个伪装的slaver,会影响性能...

问答 2024-05-28 来自:开发者社区

flinkcdc阿里云里面读mysql binlog 单表数据5000条延迟一个小时这个是什么原因?

flinkcdc阿里云里面读mysql binlog 单表数据5000条延迟一个小时 这个是什么原因?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。