文章 2025-02-26 来自:开发者社区

【赵渝强老师】Kafka的消费者与消费者组

消费者就是从Kafka集群消费数据的客户端,下图展示了一个消费者从主题中消费数据的模型。 上图展示的是单消费者模型。单消费者模型存在一些问题。如果Kafka上游生产的数据很快,超过了单个消费者的消费速度,那么就会导致数据堆积。视频讲解如下: ...

【赵渝强老师】Kafka的消费者与消费者组
文章 2025-02-23 来自:开发者社区

【赵渝强老师】Kafka生产者的消息发送方式

Kafka生产者有三种方式进行消息的发送,这三种方式区别在于对于消息是否正常到达的处理。视频讲解如下: 下面分别介绍生产者的这三种消息发送方式。 第一种:fi...

【赵渝强老师】Kafka生产者的消息发送方式
文章 2025-02-22 来自:开发者社区

【赵渝强老师】Kafka生产者的执行过程

Kafka的生产者Producer将消息序列化之后,发送到对应主题的指定分区上。下图为展示了生产者的执行过程。 整个生产者客户端由两个线程协调运行,这两个线程分别为主线程和Sender线程。视频讲解如下: ...

【赵渝强老师】Kafka生产者的执行过程
文章 2024-11-14 来自:开发者社区

【赵渝强老师】Kafka分区的副本机制

在Kafka中每个主题可以有多个分区,每个分区又可以有多个副本。在这多个副本中,只有一个副本的角色是Leader,而其他副本的角色都是Follower。仅有Leader副本所在的Kafka  Broker可以对外提供服务。Follower副本通常不会存放在Leader副本所在的Kafka  Broker上。通过这样的机制实现了高可用,当Leader副本所在的Kafka &...

【赵渝强老师】Kafka分区的副本机制
文章 2024-11-14 来自:开发者社区

【赵渝强老师】Kafka的主题与分区

Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题,而消费者负责订阅主题进行消费。主题可以分为多个分区,一个分区只属于某一个主题。下面为列举了主题和分区的关系: 同一主题下的不同分区包含的消息不同。生产者发送给主题的消息都是具体发送到某一个分区中。 消息被追加到分区日志文件的时候,Broker会为消息分配一个特定的偏移量地址(offs...

【赵渝强老师】Kafka的主题与分区
文章 2024-11-14 来自:开发者社区

【赵渝强老师】Kafka的体系架构

Kafka消息系统是一个典型的分布式系统,其组成部分包括:消息生产者(Producer)、消息消费者(Consumer)、消息服务器(Broker)以及分布式协调服务ZooKeeper。一个典型的Kafka消息系统的集群架构如下图所示。     视频讲解如...

【赵渝强老师】Kafka的体系架构

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注