云消息队列 Kafka 版入门的相关内容

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列三】Kafka 生产者消息分区及压缩算法

、生产者消息分区机制当我们在使用 Kafka 时，我们肯定希望将数据均匀的分配到所有服务器上。这样，我们的负载均衡就变的及其完美。1. 分区原因简单来说，Kafka 的消息组织方式结构：主题 - 分区 - 副本 - 消息。一条消息，只能保存到一个分区内，不会在多个分区保存多份。简单想想，为什么我们的 Kafka 已经有 Topic 了，还需要做一个分区出来呢？主要的原因在于：实现系统的高伸缩性，....

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列二】Kafka集群参数配置

一、Kafka 线上部署集群1. 操作系统一般来说，我们操作系统主要有 3 种：Linux、Windows、macOS我们的 Kafka 一般部署在 Linux 系统上，主要在以下三个方面，Linux 更胜一筹I/O 模型的使用数据网络传输效率社区支持度主流的 I/O 模型通常有 5 种类型：阻塞式 I/O、非阻塞式 I/O、I/O 多路复用、信号驱动 I/O、异步 I/O。每种 I/O 模型都....

文章 2023-02-16 来自：开发者社区

【Kafka从入门到成神系列一】Kafka基本概述和架构

一、消息引擎系统Apache Kafka 是一款开源的消息引擎系统1. 作用维基百科定义消息引擎系统是一组规范。消息引擎传输的对象是消息如何传输消息属于消息引擎设计的一部分kafka 消息的编码格式为：二进制的字节序列2. 传输方法点对点模型：系统 A 发送的消息只能被系统 B 接受，其他任何系统都不能读取 A 发送的消息发布订阅模型：有一个主题（Topic）的概念，该模型有发送方和接收方。发送....

文章 2023-01-14 来自：开发者社区

kafka sql入门

KSQL，一个用于Apache Kafka流的SQL 引擎。 KSQL降低了流处理的入口，提供了一个简单而完整的交互式SQL接口，用于处理Kafka中的数据。不再需要编写Java或Python代码！ KSQL是开源的（Apache 2.0许可），分布式，可扩展，可靠且实时。它支持各种强大的流处理操作，包括聚合，连接，窗口化，会话化等等。例子查询流数据意味着什么，与SQL数据库相比较它实际上与....

文章 2023-01-13 来自：开发者社区

kafka学习线路指导入门：包括理论、部署、实战知识汇总整理

1.什么是kafka，kafka基础理论知识对于kafka，如果接触过，我们知道他是用来传输数据的。里面的一些概念也还是懂得的。这里简单说下个人的一些认识，如有错误，欢迎指正交流。在大数据里面，分区【partition】，很多人其实还是不理解的。我个人理解，分区其实就是对数据的一个分类。也就是众多的数据中，对数据进行整理归类。kafka中，还有一个概念就是topic，这个topic可能我们也创建....

文章 2022-12-06 来自：开发者社区

Kafka、Logstash、Nginx日志收集入门

Kafka、Logstash、Nginx日志收集入门Nginx作为网站的第一入口，其日志记录了除用户相关的信息之外，还记录了整个网站系统的性能，对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。一般情景下，Logstash用来和ElasticSearch和Kiba....

文章 2022-10-10 来自：开发者社区

Controller设计--Kafka从入门到精通（十五）

上篇文章说到，当leader宕机，这时候follower可以参与竞争leader，但不是所有follower都有资格，只有在ISR里面的follower副本才有资格，在0.9.0.0之前有两个参数，后面版本就一个超时时间，默认10s。Highwatermark 和 log end offset，在hw和leo之间的是未提交的消息在，这些消息是不会被消费，在hw之前的消息是已经同步到副本的消息，这....

文章 2022-10-10 来自：开发者社区

副本与ISR设计--Kafka从入门到精通（十四）

上篇文章说了，broker的消息设计，采用紧凑的byteBuffer，存储设计主要包含attribute后三个表示压缩类型，还有crc效验，以及key和value，后面新增了时间戳。Broker消息设计--Kafka从入门到精通（十三）一、副本与ISR设计首先kafka本质就是个备份日志，利用多份相同的数据来提供冗余机制保证高可用。这些备份在kafka中就被称为副本（replica）。Kafka....

文章 2022-10-10 来自：开发者社区

Broker消息设计--Kafka从入门到精通（十三）

上篇文章说了，触发rebalance是当消费者组订阅的topic数量发生改变，或者topic分区数量发生改变，或者consumer数量发生变化，比如新的consumer加入组，则会重平衡。还介绍了分区策略range，round-robin，sticky。Kafka监听。以及kafkaConsumer是线程安全的吗？Rebalance&多线程实例消费（十二）Broker是kafka非常重要....

文章 2022-10-10 来自：开发者社区

Consumer位移管理-Kafka从入门到精通（十一）

上篇文章说了，sesstion.time.out 、max.poll.interval.ms、max.poll.records和auto.offset.reset等参数。KafkaConsumer-Kafka从入门到精通（十）订阅topic订阅consumer直接：Consumer.subscribe(Arrays.asList(“topic1”，“topic2”));如果使用独立的consum....