云消息队列 Kafka 版入门的相关内容

文章 2023-05-15 来自：开发者社区

一篇搞定：消息队列概念、kafka入门、Kafka Golang客户端库

消息队列是什么消息队列是一种在应用程序之间进行通信的技术，允许将消息从一个应用程序发送到另一个应用程序，而无需明确的连接这些应用程序。消息队列中的消息被存储在一种称为队列的数据结构中，这些消息在队列中保留，直到被消费者接收。这使得消息的发送者和接收者能够异步地通信，而不必等待对方的响应，从而提高了系统的可伸缩性和弹性。消息队列还可以通过实现各种模式（例如发布/订阅模式、请求/响应模式等）来支持不....

文章 2023-04-28 来自：开发者社区

源码系列第1弹 | 带你快速攻略Kafka源码之旅入门篇（3）

04 Kafka 源码之旅路线上面聊完 Kafka 源码全景图后，接下来我们聊聊如何高效的阅读源码。由于 Kafka 源码大概有50多万行，如果一头扎进去的话，就会出现深陷源码之中而无法自拔。我们此系列是按照「场景驱动」的方式带你一步步深度剖析，即「从一条消息生产发送开始逐步探索 Kafka 的运行全流程」。因此并不是上来就先从「服务端 Broker 源码」开始入手进行探索和剖析，我....

文章 2023-04-28 来自：开发者社区

源码系列第1弹 | 带你快速攻略Kafka源码之旅入门篇（2）

Gradle 下载的源码不需要进行安装，下载解压后即可：wget https://services.gradle.org/distributions/gradle-6.6-bin.zip开始配置 Gradle 环境变量（以Ubuntu系统为例）：sudo vim /etc/profile# 配置scala安装路径及环境变量GRADLE_HOME=/home/wangjianghua/src/de....

文章 2023-04-28 来自：开发者社区

源码系列第1弹 | 带你快速攻略Kafka源码之旅入门篇（1）

从今天开始我将为大家奉上 Kafka 源码剖析系列文章，正式开启「Kafka的源码之旅」，跟我一起来掌握 Kafka 源码核心架构设计思想吧。今天这篇我们先来聊聊 Kafka 源码环境搭建、源码全景图以及后续源码剖析之旅路线，带你梳理整体的源码分析脉络。认真读完这篇文章，并准备一台电脑跟我一起操作，我相信你会对 Kafka 源码环境搭建以及全景图剖析以及源码剖析整体路线，有更加深刻的理解。这篇....

文章 2023-04-26 来自：开发者社区

Kafka 入门知识，看这一篇就够了（上）

最近在学习 Kafka（别问，问就是公司在用），将学习过程中的笔记整理出来分享给大家，就当是入入门在介绍Kafka之前，可以先看下这篇基础文章——《关于消息队列的那些事》初识KafkaKafka 最早是由 LinkedIn 公司开发的，作为其自身业务消息处理的基础，后 LinkedIn 公司将Kafka 捐赠给 Apache，现在已经成为 Apache 的一个顶级项目了Kafka 作为一个高吞吐....

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列八】Kafka 多线程消费者及TCP连接

一、引言二、多线程开发消费者1. 消费者设计原理Kafka consumer 是一个单线程的设计方案，从 Kafka Consumer 的入口类 KafkaConsumer 。KafkaConsumer 是一个双线程的操作，既用户线程和心跳线程。用户线程：启动 Consumer 应用程序 main 方法的线程心跳线程：负责定期给对应的 Broker 发送心跳请求，以标识消费者的存活性。2. 多线....

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列七】Kafka 位移主题

一、前言二、位移主题上期我们讲述了我们将我们的位移偏移量（offset）放到我们 Kafka 的位移主题：__consumer_offsets1. 原因我们老版本的 Kafka 是依靠 Zookeeper 的，他会自动或手动的将我们的位移提交到 Zookeeper 保存。当 Consumer 重启后，从我们的 Zookeeper 读取位移数据。看似完美无瑕的操作，既能减少 Broker 的负....

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列六】Kafka 消费组及重平衡

一、消费者组1. 简述消费者组，既 Consumer Group。Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。一个消费者组有多个消费者，他们共享一个公共的 ID，这个 ID 被称为 Group ID。组内的所有消费者协调在一起来消费订阅主题下的所有分区。我们之前讲过点对点模型和发布/订阅模型，点对点模型的缺点在于，当我我们消费完一批数据之后，消息队列会将....

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列五】Kafka 幂等性及事务

一、幂等性和事务我们上一篇讲到，消息丢失的时候，我们采用：先读取消息，再更新位移的操作，避免了消息丢失，但同时产生了一个新的问题：消息重复。我们 Kafka 对我们的 Producer 和 Consumer 提供三种承诺：最多一次：消息可能会丢失，但不会重复至少一次：消息不会丢失，但会重复精确一次：消息不会丢失，也不会重复目前，Kafka 提供的可靠性保障是第二种，既至少一次。当 Produce....

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列四】Kafka 消息丢失及 TCP 管理

一、Kafka 无消息丢失配置Kafka 在什么情况下才能保证不丢失消息呢？Kafka 只对 “已提交” 的消息（committed message）做有限度的持久化保证。已提交的消息：当 Kafka 的 Broker 接收到一条消息并写入到日志文件后，告知生产者这条消息已经成功提交，此时，这条消息被称为：已提交消息有限度的持久化保证：如果你的 Kafka 集群的 Broker 全部挂掉，消息不....