问答 2023-05-08 来自:开发者社区

canal-1.1.2从oss上同步数据后,不能切回binlog上进行同步

环境信息 canal version Canal-1.1.2 mysql version 问题描述 canal从oss上同步数据后,不能切回binlog上进行同步 步骤重现 rds的binlog中有138-141的几个日志 canalserver卡在140 canalclient也卡在140 jstack表示卡在下载 实际执行情况 切回普通模式的时候报错 排查出信息点,是在计划同步bi...

问答 2023-05-08 来自:开发者社区

canal instance是自动从目标实例所拥有的binlog起点开始同步吗

假如我的配置是这样 canal.instance.master.address=ip:port canal.instance.master.journal.name= canal.instance.master.position= canal.instance.master.timestamp= canal.instance.master.gtid= 那么canal是从目标ip:port 获取最....

问答 2023-05-01 来自:开发者社区

请问tidbcdc是不需要 像mysqlcdc一样打开binlog才能同步的是么?啊?那我好像没有开

请问tidbcdc是不需要 像mysqlcdc一样打开binlog才能同步的是么?啊?那我好像没有开也能同步感觉 就是我之前用msqlcdc是需要把mysql的binlog打开的,课时tidb好像不需要开启binlog这个动作,就能直接同步夏昭,设置的10s,增量抽取,抽取的表没有增量数据写入,然后dba查comfirmed_lsn和restart_lsn都没有推进,我刚复现了,确实两个值都没推....

问答 2023-04-27 来自:开发者社区

canal同步binlog到kafka对于数据写入有什么方式可以加快呢?目前写入好像在1k TPS就

canal同步binlog到kafka对于数据写入有什么方式可以加快呢?目前写入好像在1k TPS就达到瓶颈了 原提问者GitHub用户tsywkGo

问答 2023-04-27 来自:开发者社区

canal 1.1.4解析binlog日志异常,无法同步数据

canal 1.1.4 mysql 5.7.4-m14-log 在mysql修改数据,无法同步。 报错如下: 2020-10-14 16:32:52.689 [MultiStageCoprocessor-other-example-0] ERROR com.taobao.tddl.dbsync.binlog.LogEvent - Query_log_event has unknown statu....

问答 2023-04-27 来自:开发者社区

canal同步binlog的时候blob类型存储字符串乱码问题

环境信息 canal version 1.1.14 mysql version 5.7.28-0ubuntu0.16.04.2-log 问题描述 canal同步binlog类型的字符串数据时候,客户端收到的数据是乱码的 步骤重现 复原的步骤为: create table test_blog ( id int not null primary key auto_increment, detail ....

问答 2023-04-27 来自:开发者社区

binlog同步到kafka,truncate操作动态分区错误

环境信息 canal v1.1.5-alpha-2 mysql 5.7 问题描述 场景:binlog同步到kafka,topic配置多partition,根据表名动态分区 问题:kafka中truncate事件的操作类型为dml(这个是否应该归类于ddl?),但是在配置了动态分区的情况下,并没有进行动态分区,而是作为dml操作默认进入partition 0 LogEventConvert.jav....

问答 2023-04-26 来自:开发者社区

请问,flink cdc 全量同步 不加锁,如果要同步binlog之前的数据的话,是通过select

请问,flink cdc 全量同步 不加锁,如果要同步binlog之前的数据的话,是通过select 查表获取全量数据的吗?另外: 在同步全量数据的同时,如果数据库还有更新,那么是如何解决的?

问答 2023-04-26 来自:开发者社区

使用MQ形式同步数据,可以获取当前数据在binlog 的offset 数据吗?

使用MQ形式同步数据,可以获取当前数据在binlog 的offset 数据吗? 原提问者GitHub用户shiyuanfunc

问答 2023-04-26 来自:开发者社区

同步mariadb 10.6.7会报错,binlog解析失败

环境信息 canal version 1.1.6-snapshot mysql version mariadb 10.6.7 问题描述 解析binlog会报错,Read Q_FLAGS2_CODE error :limit excceed 69 原提问者GitHub用户yangjing5514

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。