问答 2024-05-23 来自:开发者社区

Kafka中的节点(Broker)和集群是如何工作的?

Kafka中的节点(Broker)和集群是如何工作的?

文章 2024-05-06 来自:开发者社区

一文搞懂 Kafka consumer 与 broker 交互机制与原理

01 前言 AutoMQ 致力于构建下一代云原生 Kafka 系统,解决过去 Kafka 的诸多痛点问题,引领 Kafka 走向云原生时代。作为国内 Kafka 生态的忠实拥护者,我们将持续为 Kafka 技术爱好者带来优质的 Kafka 技术内容分享,欢迎关注我们。今天给大家带来的是 Kafka Consumer 与 Kafka Brok...

一文搞懂 Kafka consumer 与 broker 交互机制与原理
问答 2024-04-18 来自:开发者社区

当Kafka中的leader所在的broker挂了,会发生什么?

当Kafka中的leader所在的broker挂了,会发生什么?

问答 2024-04-18 来自:开发者社区

Kafka中的partition是如何存储在broker上的?

Kafka中的partition是如何存储在broker上的?

文章 2024-04-14 来自:开发者社区

【Kafka】Kafka 创建Topic后如何将分区放置到不同的 Broker 中?

在 Kafka 中,创建 Topic 并将分区放置到不同的 Broker 中通常是由 Kafka 的控制器节点自动完成的。Kafka 的控制器负责管理集群中的所有分区和副本,包括分配分区、管理副本、监控集群健康等任务。控制器根据配置和集群的状态自动进行分区的分配和副本的分布,以实现负载均衡和高可用性。下面我将详细介绍 Kafka 中如何实现将分区放置到不...

文章 2024-04-11 来自:开发者社区

Kafka. Broker not available

前言 你正在处理一个重要的数据任务,但是突然发现Kafka Broker不可用了!这种情况会让任何一个数据工程师心急如焚。就像是电影中的情节一样,突如其来的危机让你不知所措。但别担心,本文将带你一起进入Kafka的世界,探索Broker不可用的原因和应对方法。让我们一起来揭开这个神秘的面纱吧! 网络问题 网络故障、防火墙配置错误或者路由问题等都可能导致 Kaf...

Kafka. Broker not available
文章 2024-03-29 来自:开发者社区

✈️【Kafka技术专题】「核心原理篇」深入实战探索Kafka的Broker的原理及可靠性机制分析

副本机制 分布式系统中,为了提高可靠性,最常用、最有效的策略是“副本机制”,Kafka也不例外。 Kafka 为每个 Partition 维护了一个 AR(Assigned Replicas)列表,由 ISR(In-Sync Replicas,与 Leader 数据同步的 Replica)和OSR(Outof-Sync Replicas,与 Leader 数据不同步的...

✈️【Kafka技术专题】「核心原理篇」深入实战探索Kafka的Broker的原理及可靠性机制分析
文章 2024-01-03 来自:开发者社区

Kafka - 3.x 图解Broker总体工作流程

Zk中存储的kafka的信息当前直接存储在根目录下#配置连接Zookeeper集群地址(在zk根目录下创建/kafka,方便管理) zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafkaKafka Broker总体工作流程1. broker启动后向zk中注册2. Controller谁先启动注册,谁说了算3. 由选....

Kafka - 3.x 图解Broker总体工作流程
文章 2023-12-23 来自:开发者社区

Kafka【问题 03】Connection to node -1 (/IP:9092) could not be established. Broker may not be available.

1.报错详情此问题仅出现在云服务器上,非云服务器未出现过一下报错:15:50:26.736 [kafka-producer-network-thread | producer-1] WARN o.a.k.c.NetworkClient - [processDisconnection,782] - [Producer clientId=producer-1] Connection to no...

问答 2023-11-15 来自:开发者社区

在Flink 你们有没有给KAFKA做一层负载均衡的访问?不直接暴露BROKER给用户直连

在Flink 你们有没有给KAFKA做一层负载均衡的访问?不直接暴露BROKER给用户直连

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注