问答 2023-02-27 来自:开发者社区

使用flinkcdc 连接mysql读取数据,会提示找不到binlog信息,为什么?

使用flinkcdc 连接mysql读取数据,当mysql集群发生主从切换时,如果从指定的checkpoint重启,就会提示找不到binlog信息,导致出现这种情况只能手动去补数据,为什么?

问答 2022-10-24 来自:开发者社区

各位能看出这个作业出错在哪个阶段吗?读存量数据还是读binlog?要如何调整参数?

各位能看出这个作业出错在哪个阶段吗?读存量数据还是读binlog?要如何调整参数?

问答 2022-09-08 来自:开发者社区

Flink CDC在获取全量数据阶段的时候是基于查询的,还是基于binlog日志的呢?

如果是数据采集的这个阶段的话,是不是依靠什么无锁算法啥的处理一致性的,但是我就是觉得Flink CDC在获取全量数据阶段的时候是基于查询的,还是基于binlog日志的呢?

问答 2022-08-31 来自:开发者社区

用户在 APP,Web 页面上的行为日志数据以及关系数据库的 Binlog 数据会被同步到 BIGO

用户在 APP,Web 页面上的行为日志数据以及关系数据库的 Binlog 数据会被同步到 BIGO 大数据平台消息队 列以及离线存储系统中,然后通过实时和离线的数据分析手段进行计算,以应用于实时推荐、监控、即席查 询等使用场景。其中存在哪些问题?

问答 2022-08-20 来自:开发者社区

flinkcdc同步mysql数据到doris,全量数据同步也需要开binlog权限吗?

flinkcdc同步mysql数据到doris,全量数据同步也需要开binlog权限吗?

问答 2022-08-18 来自:开发者社区

flinkcdc接入mysql的数据 历史的接完接binlog的时候 数据就不继续进了 有遇到过这样

flinkcdc接入mysql的数据 历史的接完接binlog的时候 数据就不继续进了 有遇到过这样的问题吗

问答 2022-08-12 来自:开发者社区

大家有没有出现过 FLINK MySQL cdc 数据量太大时 无法接收到MySQL binlog情

大家有没有出现过 FLINK MySQL cdc 数据量太大时 无法接收到MySQL binlog情况,数据量少的时候没有问题,怎么解决的?

问答 2022-08-03 来自:开发者社区

从PolarDB到MC,同步方案,一键实时同步,是每天都会同步一份全量数据,然后再binlog实时增

从PolarDB到MC,同步方案,一键实时同步,是每天都会同步一份全量数据,然后再binlog实时增量同步吗?

问答 2022-08-03 来自:开发者社区

Flink CDC读取全量历史数据,是基于查询历史数据的,还是基于Binlog读取的?

Flink CDC读取全量历史数据,是基于查询历史数据的,还是基于Binlog读取的?

问答 2022-07-15 来自:开发者社区

我们这边一个cdc任务,每秒钟有3万条增量数据,我们通过metric发现binlog读取有一些lag

我们这边一个cdc任务,每秒钟有3万条增量数据,我们通过metric发现binlog读取有一些lag,后续我们扩了每个TM的vcore数量,但是我们发现在增量同步阶段,不管资源有多少,cdc任务只能使用一个vcore(不知道是不是单线程读binlog的原因),社区对于这种场景有什么好的优化建议吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。