问答 2024-02-26 来自:开发者社区

Flink CDC里从kafka消费的时候顺序会乱,这时候就无法区分顺序了,这种情况有办法处理吗?

Flink CDC里从kafka消费的时候顺序会乱,这时候就无法区分顺序了,这种情况有办法处理吗?flink开窗排序可以解决,但遇到两个操作时间在同一时刻的咋办呢,有其它字段可以作标识区分吗?flink cdc到kafka是顺序的,但如果其中一条消息出现失败后重试,不会出现顺序问题嘛?如果从savepoint来重启,可能还会有重复数据吧,这时下游应该要去重取最新的offset吧?

问答 2023-12-24 来自:开发者社区

Flink CDC中upsert-kafka作为数据源,如果加了字段,这个有什么好办法嘛?

Flink CDC中upsert-kafka作为数据源,如果加了字段,就不能从savepoint启动,不从savepoint 就只能从头消费,这样需要很长时间才能追上。这个有什么好办法嘛,目前我们都是再启动一个任务,追上之后再做切换?

问答 2023-10-03 来自:开发者社区

Flink CDC使用oraclecdc同步到kafka在快照阶段就发生了oom 有什么办法解决嘛?

Flink CDC使用oraclecdc同步到kafka 在快照阶段就发生了oom 有什么办法解决嘛 taskmanager内存给的是18g?这个是sql的参数

问答 2023-06-29 来自:开发者社区

各位大佬上午好,请教个问题哈,Flink CDC消费kafka数据使用,请问还有其他办法实现吗?

各位大佬上午好,请教个问题哈,Flink CDC消费kafka数据使用StreamingFileSink写入hive,当杀死jobmanager的进程时,会自动拉起另外一个jobmanager进程,这时会有一部分inprogress文件始终无法重命名为finished文件,导致hive表里丢了部分数据,除了手动重命名和修改源码之外,请问还有其他办法实现吗?

问答 2022-07-14 来自:开发者社区

请问一下,sqlserver cdc到kafka,kafka有12个分区,有办法保证同一记录在同一个

请问一下,sqlserver cdc到kafka,kafka有12个分区,有办法保证同一记录在同一个分区的顺序吗,比如一个update操作是delete+create的,保证这一对消息在kafka的一个分区里,现在情况是消费的时候有可能会乱序

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注