问答 2023-08-09 来自:开发者社区

FlinkCDC中使用 mysql-cdc 2.3.0的版本指定binlog位置读取报错,什么原因?

Flink CDC中使用 mysql-cdc 2.3.0的版本,指定binlog位置读取,确实读到数据,但几分钟后,报错说binglog已经在server端不存在了,但是已经去mysql查看了,binlog文件确实是存在,这个是什么原因?主从mysql, 从库mysql读的Caused by: java.lang.IllegalStateException: The connector is t....

问答 2023-07-19 来自:开发者社区

请问flinkcdc中,mysqlcdc读取的binlog,其中解析的op参数是 什么意思?

请问flinkcdc中,mysqlcdc读取的binlog,其中解析的op参数是 什么意思? 是操作的动作类型吗?里面有哪些值,分别代表啥意思?

问答 2023-07-19 来自:开发者社区

flinkcdc,用哪个序列化器,才能拿到binlog里面的数据操作时间?

flinkcdc,用哪个序列化器,才能拿到binlog里面的数据操作时间?

问答 2023-07-19 来自:开发者社区

请问flinkcdc中我现在的就是多库不可能做到一个job监听多个不同ip的实例binlog?

请问flinkcdc中我现在的就是多库,但是cdc又只能写一个ip,我那个分库,是分到不同的ip的数据库,不是在同一个实例的数据库,所以相当于有很多个binlog监听,这时候,是不是只能一个job监听一个数据库实例了,不可能做到一个job监听多个不同ip的实例binlog?

问答 2023-06-29 来自:开发者社区

巨佬们,请教个问题: 我使用flinkCDC 采集MySQL数据,MySQL中的binlog清理策?

巨佬们,请教个问题: 我使用flinkCDC 采集MySQL数据,MySQL中的binlog清理策略是(1.占磁盘30%;2.binlog存储超过18个小时;3.binlog文件超过60个),这种策略导致采集任务经常性找不到binlog, 请问,在不动mysql端的情况下,flink端有什么参数可以解决这个问题的吗?

问答 2023-06-18 来自:开发者社区

flinkcdc 监听解析mysql的binlog文件,相关的binlog offset是直接往状?

flinkcdc 监听解析mysql的binlog文件,相关的binlog offset是直接往状态存储了,那如果任务失败或者异常了,相关的offset已经被提交了,那如何保证数据不丢失呢?有没有大佬对这一块有做过验证的,下游算子的恢复如果没有使用状态,依托于flink的算子生命周期是否也是可以保证数据的精准一次?有大佬可以解答一下吗?这个其实我已经知道了,我好奇的是,如果中间缓存数据我没有使用....

问答 2023-06-18 来自:开发者社区

大佬们,咨询一句,flinkcdc 抽postgreSQL,是不是只能拿主库的binlog日志呀?

大佬们,咨询一句,flinkcdc 抽postgreSQL,是不是只能拿主库的binlog日志呀?从库可以吗,业务可能不让拿主库

问答 2023-06-11 来自:开发者社区

请教一个问题, flinkcdc是会将所有库表的binlog拉过来然后筛选订阅的表, 还是只拉取订?

请教一个问题, flinkcdc是会将所有库表的binlog拉过来然后筛选订阅的表, 还是只拉取订阅的表的binlog?

问答 2023-06-11 来自:开发者社区

大佬们 flinkcdc运行一段时间报错是什么原因导致的 binlog日志保留18小时?

问题1:大佬们 flinkcdc运行一段时间报错The connector is trying to read binlog starting at Struct{version=1.5.4.Final,connector=mysql,name=mysql_binlog_source,ts_ms=168607...

问答 2023-04-26 来自:开发者社区

大佬们 我想问下我flinkcdc选择从binlog固定位置启动的话开启checkpoint会报错是

大佬们 我想问下我flinkcdc选择从binlog固定位置启动的话开启checkpoint会报错是什么原因呀?用StartupOptions.initial()就没问题,这个是从savepoint恢复报的错

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。