【Kafka从入门到成神系列 七】Kafka 位移主题

【Kafka从入门到成神系列 七】Kafka 位移主题

一、前言二、位移主题上期我们讲述了我们将我们的 位移偏移量(offset) 放到我们 Kafka 的位移主题:__consumer_offsets1. 原因我们老版本的 Kafka 是依靠 Zookeeper 的,他会自动或手动的将我们的位移提交到 Zookeeper 保存。当 Consumer 重...

【Kafka从入门到成神系列 六】Kafka 消费组及重平衡

【Kafka从入门到成神系列 六】Kafka 消费组及重平衡

一、消费者组1. 简述消费者组,既 Consumer Group。Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。一个消费者组有多个消费者,他们共享一个公共的 ID,这个 ID 被称为 Group ID。组内的所有消费者协调在一起来消费订阅主题下的所有分区。我们之...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图
【Kafka从入门到成神系列 五】Kafka 幂等性及事务

【Kafka从入门到成神系列 五】Kafka 幂等性及事务

一、幂等性和事务我们上一篇讲到,消息丢失的时候,我们采用:先读取消息,再更新位移的操作,避免了消息丢失,但同时产生了一个新的问题:消息重复。我们 Kafka 对我们的 Producer 和 Consumer 提供三种承诺:最多一次:消息可能会丢失,但不会重复...

【Kafka从入门到成神系列 四】Kafka 消息丢失及 TCP 管理

【Kafka从入门到成神系列 四】Kafka 消息丢失及 TCP 管理

一、Kafka 无消息丢失配置Kafka 在什么情况下才能保证不丢失消息呢?Kafka 只对 “已提交” 的消息(committed message)做有限度的持久化保证。已提交的消息:当 Kafka 的 Broker 接收到一条消息并写入到日志文件后,告知生产者这条消息已经成功提交,此时,这条消息...

【Kafka从入门到成神系列 三】Kafka 生产者消息分区及压缩算法

【Kafka从入门到成神系列 三】Kafka 生产者消息分区及压缩算法

、生产者消息分区机制当我们在使用 Kafka 时,我们肯定希望将数据均匀的分配到所有服务器上。这样,我们的负载均衡就变的及其完美。1. 分区原因简单来说,Kafka 的消息组织方式结构:主题 - 分区 - 副本 - 消息。一条消息,只能保存到一个分区内,不会在多个分区保存多份。简单想想,为什么我们的...

【Kafka从入门到成神系列 二】Kafka集群参数配置

一、Kafka 线上部署集群1. 操作系统一般来说,我们操作系统主要有 3 种:Linux、Windows、macOS我们的 Kafka 一般部署在 Linux 系统上,主要在以下三个方面,Linux 更胜一筹I/O 模型的使用数据网络传输效率社区支持度主流的 I/O 模型通常有 5 种类型:阻塞式...

【Kafka从入门到成神系列 一】Kafka基本概述和架构

【Kafka从入门到成神系列 一】Kafka基本概述和架构

一、消息引擎系统Apache Kafka 是一款开源的消息引擎系统1. 作用维基百科定义消息引擎系统是一组规范。消息引擎传输的对象是消息如何传输消息属于消息引擎设计的一部分kafka 消息的编码格式为:二进制的字节序列2. 传输方法点对点模型:系统 A 发送的消息只能被系统 B 接受,其他任何系统都...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载