阿里云文档 2024-11-28

如何在控制台管理Consumer的offset

本文为您介绍Consumer在读取消息异常中断后,如何在控制台管理Consumer的offset。

阿里云文档 2023-12-13

通过offset和时间段查询消息

在使用Kafka的过程中遇到无法正确消费消息、消息丢失、消息延迟等消费问题时,您可通过消息查询功能查看指定消息的详细内容和相关属性,帮助您排查异常原因。若确定消息所在Topic的分区ID以及消息位点,可采用按位点查询消息;若不确定消息的位置,但确定消息发送的时间段,可采用按时间查询消息。

问答 2022-02-15 来自:开发者社区

kafka中的offset可以存储在哪里?

kafka中的offset可以存储在哪里?

问答 2022-02-15 来自:开发者社区

spark streaming和kafka集成的时候,auto commit offset设置位false,存储这个offset,大家是怎么做的啊?

1、一个rdd处理完去更新一下吗?还是rdd里的一个msg处理完就更新?那会不会有问题啊?比如rdd拿了n个msg,处理到m(n2、拿出来处理了,然后插到mysql里,失败了,你让我把rdd中前面的m-1个都从mysql里删除掉?你失败了那不就是offset没存到mysql中去么,下次还是从原先的offset读取吧

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注