问答 2024-01-17 来自:开发者社区

flink checkpoint为什么会导致下游kafka数据增多?

flink checkpoint为什么会导致下游kafka数据增多?

问答 2023-08-28 来自:开发者社区

Flink CDC 1.15.2 开启checkpoint 消费kafka ,过一段时间后,不提交?

Flink CDC 1.15.2 开启checkpoint 消费kafka ,过一段时间后,不提交offset,日志只有warn:Commit offsets failed with retriable exception. You should retry committing offsetskafka ,大家有遇到嘛? kafka一直有数据

问答 2023-03-07 来自:开发者社区

checkpoint保存kafka offset吗?

checkpoint保存kafka offset吗?我模式设置的是从最新开始消费,当任务从checkpoint重启时,感觉没从上次offset开始消费,任务停掉后到重启中间的数据没消费到。

问答 2022-11-22 来自:开发者社区

请问下,sink还没有成功,执行checkpoint会把这条数据的offset提交到kafka吗?会

请问下,sink还没有成功,执行checkpoint会把这条数据的offset提交到kafka吗?会不会存在还没sink成功,但已经把offset提上去了的情况呢?

问答 2021-12-07 来自:开发者社区

flink不清理state,从checkpoint恢复任务能重置kafka的offset讨论

Hi everyone: 如题,我遇到有些数据我不应该漏了想回溯部分数据,这个时候我就需要清理state,来重置kafka的offset重新跑,可不可以保留flink任务state,从checkpoint恢复任务的时候重置kafka的offset,并从kafka那个时间段开始消费,而不需要清掉state重新跑数据。*来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

如果checkpoint时间过长,offset未提交到kafka重启之后的重复消费如何保证呢?

如果checkpoint时间过长,offset未提交到kafka重启之后的重复消费如何保证呢?

问答 2021-12-06 来自:开发者社区

flink任务checkpoint无法完成snapshot,且报kafka异常怎么回事?

现在有一个简单的flink任务,大概chain在一起后的执行图为: Source: Custom Source -> Map -> Source_Map -> Empty_Filer -> Field_Filter -> Type_Filter -> Value_Filter -> Map -> Map -> Map -> Sink: U...

问答 2021-01-06 来自:开发者社区

如果 checkpoint offset 未提交到 kafka,此时节点宕机了,重启重复消费如何保证

如果 checkpoint 时间过长,offset 未提交到 kafka,此时节点宕机了,重启之后的重复消费如何保证呢?

问答 2020-06-04 来自:开发者社区

非checkpoint下,kafka的offset不能手动提交,这个是不是设计的不合理?#Flink

非checkpoint下,kafka的offset不能手动提交,这个是不是设计的不合理?#Flink

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注