云消息队列 Kafka 版学习的相关内容

文章 2023-08-04 来自：开发者社区

Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(二）

3、案例二没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值。package org.zhm.producer; import org.apache.kafka.clients.producer.*; import org.apache.kafka.common.serializati....

文章 2023-08-04 来自：开发者社区

Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(一）

1、kafka生产者1.1 生产者消息发送流程1.1.1 发送原理在消息发生的过程中，设计到了两个线程——main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。main线程将消息发给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka Broker。batch.size:只有数据积累....

文章 2023-08-04 来自：开发者社区

Kafka学习---1、Kafka 概述、Kafka快速入门

1、Kafka概述1.1 定义1、Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要是应用于大数据实时处理领域。2、发布/订阅：消息的发布者不会将信息直接发送给特定的订阅者，而是将发布的信息分为不同的类别，订阅者只接受感兴趣的消息。3、Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platfo....

文章 2023-07-29 来自：开发者社区

MQ 学习日志(四) kafka的选举机制

kafka的选举机制一个Kafka集群中有多个Broker，最开始的时候，这些Broker中的有一个Broker会被选举为控制器(KafKa Controller)，他负责管理整个集群中所有的分区和副本的状态，每个Topic的partition的多个Replication中只有一个Replication会被选举为Leader，...

文章 2023-05-05 来自：开发者社区

kafka学习汇总

1、入门：1.1、kafka的定义：Kafka 是由Linkedin公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。1.2、kafka基本术语：消息：kafka中的数据单元被称为消息，也被成为记录，可以把它看作数据库表中的某一行记录。批次：为了提高效率，消息会分批次写入kafka,批次就代指是一组....

文章 2023-02-16 来自：开发者社区

kafka学习汇总

1、kafka代码参考：2、入门：2.1、kafka的定义：Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。2.2、kafka基本术语：消息：kafka中的数据单元被称为消息，也被成为记录，可以把它看作数据库表中的某一行记录。批次：为了提高效率，消息会分批次写入....

文章 2023-01-13 来自：开发者社区

kafka学习线路指导入门：包括理论、部署、实战知识汇总整理

1.什么是kafka，kafka基础理论知识对于kafka，如果接触过，我们知道他是用来传输数据的。里面的一些概念也还是懂得的。这里简单说下个人的一些认识，如有错误，欢迎指正交流。在大数据里面，分区【partition】，很多人其实还是不理解的。我个人理解，分区其实就是对数据的一个分类。也就是众多的数据中，对数据进行整理归类。kafka中，还有一个概念就是topic，这个topic可能我们也创建....

文章 2022-12-14 来自：开发者社区

kafka学习六-生产延迟操作

这里思考问题，什么时候会用到延迟组件，同时哪些时候会用到延迟组件，同时为什么要用延迟组件？从kafkaApi中，我们可以知道具体的逻辑实现都是在这里实现的：caseApiKeys.PRODUCE=>handleProduceRequest(request)这里以处理生产请求为例，看其操作流程：/*** Handle a produce request* 处理生产请求*/defhandleP....

文章 2022-12-14 来自：开发者社区

Kafka学习四

在kafka启动时，首先执行的broker的操作，然后接着会执行生产者操作，接着将生产者的消息放入到存储中，此时生产者和broker会进行交互，而消费者发送消息，接着消费者会和broker交互。前面我们知道kafka在kafkaApi中会处理具体的请求。首先，我们再次来看kafkaApi的handle，可以看到其入参的参数是RequestChannel.....

文章 2022-12-14 来自：开发者社区

Kafka学习一

我们先来学习学习kafka的相关概念吧!只有知道了概念。关于kafka的知识我们才会认识得更加清晰。下图是kafka的生产消费图：在图中我们可以看到有生产者Producer、消费者Consumer、分区Partition、副本Replica、主Leader、从Follower等名称。那我们先来了解这些信息：Producer:....