Flink CDC里同一条记录短时间i,d,u,cdc到kafka是有序的,之后乱序怎么解决?

Flink CDC里同一条记录短时间i,d,u,cdc到kafka是有序的,但从kafka消费时候会乱序。这个我也遇到目前只是设置kafka分区数为1或者放入kafka时候按记录主键分区解决。看资料说用flink水印来解决乱序问题,但我没测成功,有没有人玩过这种解决方式呢?

[帮助文档] 为什么分区消费时间相差大、滞后明显或乱序_云消息队列 Kafka 版_云消息队列 Kafka 版(Kafka)[KB:154355]

同一个Group的所有消费端实例,分区消费时间相差较大、滞后明显或乱序。

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

canal投递kafka消息(FlatMessage) 可能会存在同一分区消息乱序。

版本:1.1.4-SNAPSHO 描述:canal投递kafka(库.表 多分区模式) 动态topic 单表数据 按照id分片 投递消息为flatMessage可能会存在 同一个topic下同一分区消息乱序,核心代码如下: // 发送扁平数据json List flatMessages = MQMe...

kafka中怎么解决数据乱序的问题呢?

kafka中怎么解决数据乱序的问题呢?

Flink中的kafka乱序解决方法具体是什么啊?

Flink中的kafka乱序解决方法具体是什么啊?

FLINK SQL 消费kafka消息乱序问题

kafka消息里有一个随时间递增的“成交额”字段,写了一个UDAF统计累加当前成交额与上一条数据的成交额的差值,发现差值有出现负数的情况 用工具看topic里的消息是有序的,分区数为1。flink版本1.11.2 *来自志愿者整理的flink邮件归档

用 upsert-kafka connector 作为source,会有key的插入和更新出现乱序

想消费upsert-kafka的数据,以key为主键更新到数据库里面,会不会有消息乱序导致更新结果不对的情况?*来自志愿者整理的FLINK邮件归档

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。