云消息队列 Kafka 版入门的相关内容

文章 2023-06-18 来自：开发者社区

【Kafka从入门到放弃系列六】Kafka架构深入——高并发读写及Zookeeper管理

分别了解了【Kafka从入门到放弃系列四】Kafka架构深入——生产者策略和【Kafka从入门到放弃系列五】Kafka架构深入——消费者策略后我们来了解下Zookeeper是如何进行管理的。Kafka高效读写数据Kafka是如何保证高效读写数据的呢，有三点支持：分布式读写、顺序写磁盘以及零拷贝技术，其实前两点在之前的blog中也有提到分布式读写，我们提到的各种策略都是为了满足分布式的可靠高效....

文章 2023-06-18 来自：开发者社区

【Kafka从入门到放弃系列五】Kafka架构深入——消费者策略

在上一篇blog【Kafka从入门到放弃系列四】Kafka架构深入——生产者策略中详细分析了较为复杂的生产者策略，本篇blog就聊聊相对简单的消费者策略吧。消费方式消息有两种方式被投递，一种是broker推给消费者，一种是消费者从broker拉。这两种方式各自有优缺点：push 模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息，但....

文章 2023-06-18 来自：开发者社区

【Kafka从入门到放弃系列四】Kafka架构深入——生产者策略

上一篇blog大致了解了Kafka的基本工作流程和存储机制，其实是从分布式系统均特有的角度去思考的，那么这篇blog就介绍下Kafka的生产者相关策略，其实归根到底也是从支持分布式系统特性【高可扩展、高可用、高并发、海量存储】的角度去考虑的。分区策略Kafka 每个 topic 的 partition 有 N 个副本（replicas），其中 N（大于等于 1）是 topic 的复制因子（rep....

文章 2023-06-18 来自：开发者社区

【Kafka从入门到放弃系列三】Kafka架构深入——工作流程和存储机制

上一篇blog亲手搭建了一个kafka的分布式集群【Kafka从入门到放弃系列二】Kafka集群搭建并且成功的发送和消费消息，初步验证了Kafka的功能，接下来会在第一篇【Kafka从入门到放弃系列一】概述及基本架构的简单理论和第二篇的实践基础之上，开始深入探讨Kafka的架构和一些策略，本篇blog重点介绍全流程以及文件存储机制，接下来的几篇分别介绍下生产者策略、消费者策略和一些高级特性K....

文章 2023-06-18 来自：开发者社区

【Kafka从入门到放弃系列二】Kafka集群搭建及基本命令

上一篇blog详细了解了kafka的基本概念、生产消费者模型、基本架构，我对kafka有了一个整体的认知，其整体框架其实可以理解为如下架构【一个Partion分区的leader和foller不会存储到一个broker上】：消息生产出来后依据topic发送到Kafka集群中去，由集群来管理消息，消费集群主动拉取到消息后消费【消费者的消费速度可以由自己来决定，可能会存在长连接轮询的浪费问题】，整体的....

文章 2023-06-17 来自：开发者社区

【Kafka从入门到放弃系列九】Kafka生产者消费者系统实践

在项目实战中就会发现，其实不管是微服务也好，DDD也好，都是为了履行设计原则里的低耦合、高内聚而无论是RabbitMQ还是Kafka，都是通过消息队列的方式对系统进行解耦，在从入门到放弃系列里我详细介绍过其使用背景以及模型等，由于最近的项目用到了RabbitMQ和Kafka，所以索性搭建一个简单的生产者消费者模型。生产者端在生产者端，生产者不停的生产消息并发送到kafka的服务器集群上，依据自己....

文章 2023-06-17 来自：开发者社区

【Kafka从入门到放弃系列一】Kafka概述及基本架构

从今天开始更新一些业务常用到的中间件的学习，Redis已经进行了几篇了Kafka也开个头吧，计划总共用五篇博客来学习和了解这个消息框架，当然一开始不会花太多的精力去深入探究，自己整理了一个学习路线大纲，之后依据对业务的了解和公司内部的使用情况需要了再更新和学习：【Kafka从入门到放弃系列一】概述及基本架构：前置概念理解（消息队列、生产者消费者模式）、消息系统的使用、Kafka的基本架构等基本....

文章 2023-06-13 来自：开发者社区

windows搭建kafka入门

下载kafka包，官网解压出来。我的版本是2.6要启动kafka，要先启动zookeeper，这里使用kafka自带的zookeeper。修改config目录下的server.properties文件，修改log.dirs=F:\kafka_2.13-2.6.0\kafkaLogs可以新建一个文件夹用来存放kafka的数据信息存放地址。修改config目录下的log4j.properties文件....

文章 2023-05-23 来自：开发者社区

Kafka安装以及入门基本命令操作

文章目录1.单节点搭建1.1 下载安装包1.2 配置环境变量1.3 配置配置文件1.4 启动启动zookeeper启动kafka1.5 创建启动脚本startKafka.sh2.简单的使用2.1 创建topic2.2 查看topic2.3 producer生产数据2.4 consumer消费者拉取数据1.单节点搭建1.1 下载安装包#解压tar -xzf kafka_2.12-3.3.1.tgz....

文章 2023-05-23 来自：开发者社区

1.5万字长文：从 C# 入门 Kafka

1, 搭建 Kafka 环境本章的内容比较简单，我们将使用 Docker 快速部署一个单节点的 Kafka 或 Kafka 集群，在后面的章节中，将会使用已经部署好的 Kafka 实例做实验，然后我们通过不断地实验，逐渐了解 Kafka 的知识点以及掌握客户端的使用。这里笔者给出了单机和集群两种部署方式，但是为了便于学习后面的章节，请以集群的方式部署 Kafka。安装 docker-compos....