问答 2024-04-15 来自:开发者社区

flink cdc 怎么程序化初始化时候一次拿全量mysql单表数据,启动之后使用binlog监控?

flink cdc 怎么程序化初始化的时候一次拿全量mysql单表数据,启动之后使用binlog监控?每次程序启动,以前未消费的数据,广播数据都还没全到底,就把用户数据消费了,导致了漏数据.

问答 2024-04-15 来自:开发者社区

Flink CDC里checkpoint状态进行恢复,报错提示这个binlog文件已经不在了为啥?

$stringUtil.substring( $!{XssContent1.description},200)...

问答 2024-04-15 来自:开发者社区

flink cdc的 参数是直接从指定时间开始读取 binlog 的还是从最早开始然后按时间过滤的?

flink cdc的scan.startup.timestamp-millis 参数是直接从指定时间开始读取 binlog 的还是从最早开始然后按时间过滤的?测试下来感觉像后者,因为很久才读出数来.有没有参数可以提高效率的,增量后并行度为 1 时,读取真的好慢.

问答 2024-04-15 来自:开发者社区

使用flink cdc能监控到当前未消费的binlog条数么?

使用flink cdc能监控到当前未消费的binlog条数么?想通过监控防止消费binlog慢而被套圈。

问答 2024-04-14 来自:开发者社区

Flink CDC这个意思是全量阶段也会进行binlog消费吧?

Flink CDC这个意思是全量阶段也会进行binlog消费吧?因为正常消费的太慢 binlog没了 导致找不到位点。我看那个算法描述是 按chunk 进行select 然后从select前的低位点到select完成的高位点binlog 再和buffer进行合并

问答 2024-04-12 来自:开发者社区

Flink CDC中有没有人遇到过解析binlog 顺序的问题?

$stringUtil.substring( $!{XssContent1.description},200)...

问答 2024-04-10 来自:开发者社区

Flink这个参数是拉取binlog还是拉取全量阶段的snapshot数据?

debezium.max.batch.size,Flink这个参数是拉取binlog还是拉取全量阶段的snapshot数据?

问答 2024-04-09 来自:开发者社区

有没有知道基于容器的mysql pxc集群。flink如何调用对应的服务获取binlog日志?

有没有大佬知道基于容器的mysql pxc集群。flink如何调用对应的服务获取binlog日志?

问答 2024-04-03 来自:开发者社区

Flink的binlog文件太多,导致全量后的增量阶段追赶很慢,这个有办法解决吗?

Flink的binlog文件太多,导致全量后的增量阶段追赶很慢,这个有办法解决吗?

问答 2024-04-03 来自:开发者社区

在Flink有什么办法加速binlog的消费呢?

如果binlog中无关的日志过多,影响监听此实例binlog的任务数据延迟过大,在Flink有什么办法加速binlog的消费呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。