问答 2021-12-03 来自:开发者社区

flink消费kafka数据,如何从kafka端获取消费偏移信息

flink通过FlinkKafkaConsumer消费kafka主题,设置group.id按setStartFromGroupOffsets取偏移,如何在kafka端获取对应group.id的偏移信息? kafka为0.9版本,在zk那边找不到对应的group.id;通过kafka-consumer-groups.sh --describe --group ,也取不到。请问下要怎么获取啊?*来自....

问答 2021-10-26 来自:开发者社区

kafka出现unkowntopicException异常信息

kafka集群建立topic后监听置顶的topic读取数据,但是出现 org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 是没有建立成功吗??有启动的时候自动创建或者启动的时候检查机制吗?早点抛出这个异常,不要等到读取数...

问答 2020-06-06 来自:开发者社区

kafka配置了多个消费者,只有一个消费者收到信息:报错

我想一个生产者对应多个消费者 多个消费者轮询消费 group.id不一样到时候就所正常到,2个消费者同时收到 当我把group.id设置成一样的时候,只有一个消费者线程消费,另一个没消费? 这所为什么啊,我想多个消费者消费一个topic,应该怎么配置

问答 2020-05-31 来自:开发者社区

kafka配置了多个消费者,只有一个消费者收到信息 - kafka报错

我想一个生产者对应多个消费者 多个消费者轮询消费 group.id不一样到时候就所正常到,2个消费者同时收到 当我把group.id设置成一样的时候,只有一个消费者线程消费,另一个没消费? 这所为什么啊,我想多个消费者消费一个topic,应该怎么配置

问答 2020-05-27 来自:开发者社区

kafka配置了多个消费者,只有一个消费者收到信息403.10 禁止访问:配置无效 

我想一个生产者对应多个消费者 多个消费者轮询消费 group.id不一样到时候就所正常到,2个消费者同时收到 当我把group.id设置成一样的时候,只有一个消费者线程消费,另一个没消费? 这所为什么啊,我想多个消费者消费一个topic,应该怎么配置

文章 2020-01-06 来自:开发者社区

Kafka原理解析-旧版本0.8高级Api的Demo和配置信息获取技巧

旧版本高级Api封装: package xxxxxx; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import java.util.Properties; public class KafkaProducerTest implements Runnable { private final k....

问答 2019-01-22 来自:开发者社区

请教大家一个问题,请教大家一个问题,我们在应用里面使用了KafkaConnector 然后现在要对kafka里面的每个topic的一些特征数据做一些简单的监控,现在的思路是基于Flink 的system metrics 但是我大概看了一下官方的文档,和Flink 里面FlinkKafkaConsumerBase的open方法和run方法的实现,暂时没有找到获取kafka topic相关的信息的API,大家有这方面的经验吗?

转自钉钉群21789141:请教大家一个问题,请教大家一个问题,我们在应用里面使用了KafkaConnector 然后现在要对kafka里面的每个topic的一些特征数据做一些简单的监控,现在的思路是基于Flink 的system metrics 但是我大概看了一下官方的文档,和Flink 里面FlinkKafkaConsumerBase的open方法和run方法的实现,暂时没有找到获取kafk....

问答 2017-12-22 来自:开发者社区

Kafka0.8改版之后consumer的监控信息拉取问题

Kafka0.8之后,consumer信息从zk迁移走之后,如何拿到consumer的信息,主要是想拿到每个partition中offset的值

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注