问答 2024-10-29 来自:开发者社区

为什么使用FlinkCDC和Kakfa Sink向Kakfa中发送binlog数据,会存在脏数据?

1.刚开始kafka配置的是精确一次,后来猜想可能与两阶段提交有关,修改为至少一次时候还是会存在该问题。 2.binlog数据和脏数据并非同时发送到kafka的,根据时间戳分析脏数据应该是在保存检查点的时候发送的。请问有大佬遇到过这个问题吗,要怎么处理啊?

阿里云文档 2024-08-02

如何使用Canal接入云消息队列RocketMQ版,实现MySQL数据库Binlog数据的变更处理

本文以MySQL数据库为例介绍如何使用Canal接入云消息队列 RocketMQ 版,实现MySQL数据库Binlog数据的变更处理。

问答 2024-05-28 来自:开发者社区

flinkcdc阿里云里面读mysql binlog 单表数据5000条延迟一个小时这个是什么原因?

flinkcdc阿里云里面读mysql binlog 单表数据5000条延迟一个小时 这个是什么原因?

问答 2023-08-29 来自:开发者社区

各位大佬好,咨询一个问题,FlinkCDC中的全量同步是指的Binlog里面的全量数据吗?

各位大佬好,咨询一个问题,FlinkCDC中的全量同步是指的Binlog里面的全量数据吗?如果想同步整张表的话,可以怎么操作呢?

文章 2023-08-17 来自:开发者社区

FlinkCDC 增量读取 binlog 数据比较慢

FlinkCDC 增量读取 binlog 数据比较慢,可能是因为以下原因: 网络延迟:FlinkCDC 与 MySQL 之间的网络延迟可能导致读取 binlog 数据变慢。您可以尝试优化网络连接,减小延迟。数据量过大:如果您的数据库中数据量非常大,则读取 binlog 数据也会变慢。您可以尝试分批读取数据...

问答 2023-08-09 来自:开发者社区

flinkcdc从时间戳重启,是总binlog开头开始读取,然后过滤到对应时间点多数据吗?

flinkcdc从时间戳重启,是总binlog开头开始读取,然后过滤到对应时间点多数据吗?发现时间戳重启读不到数据flinkcdc2.3.0 flink1.14.5。传入一个时间戳,读取从这时间戳开始的binlog在测试。

问答 2023-07-19 来自:开发者社区

flinkcdc,用哪个序列化器,才能拿到binlog里面的数据操作时间?

flinkcdc,用哪个序列化器,才能拿到binlog里面的数据操作时间?

问答 2023-01-09 来自:开发者社区

大佬们有碰到过flinkcdc拉取mysql binlog丢失数据的问题吗?

大佬们有碰到过flinkcdc拉取mysql binlog丢失数据的问题吗?

问答 2022-11-02 来自:开发者社区

请问flinkcdc 增量读取binlog数据比较慢 有积压 要怎么优化呢?

请问flinkcdc 增量读取binlog数据比较慢 有积压 要怎么优化呢?

问答 2022-08-22 来自:开发者社区

请教一下 flinkcdc 怎么根据数据库binlog中时间戳 过滤 同步数据

请教一下 flinkcdc 怎么根据数据库binlog中时间戳 过滤 同步数据

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。