原理云消息队列 Kafka 版的相关内容

文章 2025-03-02 来自：开发者社区

原理剖析| Kafka Exactly Once 语义实现原理：幂等性与事务消息

01 前言在现代分布式系统中，确保数据处理的准确性和一致性是至关重要的。Apache Kafka，作为一个广泛使用的流处理平台，提供了强大的消息队列和流处理功能。随着业务需求的增长，Kafka 的事务消息功能应运而生，它允许应用程序以一种原子的方式处理消息，即要么所有消息都被正确处理，要么都不处理。本文将深入剖析 Kafka 的 Exact...

文章 2024-10-14 来自：开发者社区

大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型配置与使用附带案例1：消费Kafka写到Redis

点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完） HDFS（已更完） MapReduce（已更完） Hive（已更完） Flume（已更完） Sqoop（已更完） Zookeeper（已更完） HBase（已更完） Redis （已更完） Kafka（已更完） ...

文章 2024-05-24 来自：开发者社区

原理剖析| 一文搞懂 Kafka Producer（上）

01 前言今天给大家带来的是 Kafka Producer 的全方位解析（基于 Apache Kafka 3.7[2]）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka Producer 的实现细节与常见问题。 02 使用方法在介绍 Kafka Producer 的具体实现前，首先看一下如何使用。用 Ka...

文章 2024-03-29 来自：开发者社区

【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案

背景介绍文件索引，是存储设计的关键，一个好的索引，应该能够在最短的时间里，找到你想要的数据，同时，还能尽量少的使用内存或磁盘空间。但是这里说的索引并不是指MySQL或者NoSQL这些数据库索引，而是MQ中间件的索引。相对而言较为简单的MQ索引。我们可以通过研究MQ的索引，看看他们为何如此设计，我们又有哪些借鉴之处，并且也可以根据他们索引文件的设计模式，进行分析他们的性能问题，...

文章 2024-03-07 来自：开发者社区

【Spring底层原理高级进阶】Spring Kafka：实时数据流处理，让业务风起云涌！️

故事引言当我们谈论 Spring Kafka 时，可以把它想象成一位非常出色的邮递员，但不是运送普通的信件，而是处理大量的有趣和有用的数据。这位邮递员擅长与 Kafka 进行互动，并且以一种高级抽象和易用的方式处理数据。这位邮递员的任务是将数据从一个地方传送到另一个地方，就像我们...

文章 2023-09-05 来自：开发者社区

连Producer端的主线程模块运行原理都不清楚，就敢说自己精通Kafka？

前言在介绍Producer端原理之前，大家先对其整体架构有一个大致的了解，图示如下所示：这个图看不懂没有关系，我们会在介绍Producer端原理时一一介绍每个部分的含义及其所复杂的功能。Main Thread（主线程）在Main Thread中，一共分为四个步骤，分别是：KafkaProducer（Kafka生产端）、Interceptor（拦截器）、Serializer（序列化器）和Parti....

文章 2023-04-26 来自：开发者社区

消息队列原理和选型：Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ

消息队列基础什么是消息队列？消息队列模式消息队列应用场景常用消息队列KafkaRocketMQRabbitMQ消息队列对比&选型消息队列对比消息队列选型消息队列中间件重要吗？面试必问问题之一，你说重不重要。我有时会问同事，为啥你用 RabbitMQ，不用 Kafka，或者 RocketMQ 呢，他给我的回答 “因为公司用的就是这个，大家都这么用”，如果你去面试，直接就被 Pass，今天这....

文章 2022-05-30 来自：开发者社区

消息队列原理和选型：Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ

常用的消息队列主要这 4 种，分别为 Kafka、RabbitMQ、RocketMQ 和 ActiveMQ，主要介绍前三，不BB，上思维导图！消息队列基础什么是消息队列？消息队列是在消息的传输过程中保存消息的容器，用于接收消息并以文件的方式存储，一个消息队列可以被一个也可以被多个消费者消费，包含以下 3 元素：Producer：消息生产者，负责产生和发送消息到 Broker；Broker：消息处....

文章 2022-05-28 来自：开发者社区

消息队列系列2 - 原理初探之Kafka

Kafka 是由Linkedin公司开发的，它是一个分布式的，支持多分区、多副本，基于Zookeeper的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。2.1 基本概念消息：Kafka中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。批次：为了提高效率，消息会分批次写入Kafka，批次就代指的是一组消息。主题：消息的种类称为主题（Topic），....

文章 2022-02-17 来自：开发者社区

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：Apache Flink 应用程序中的 Exactly-Once 语义Flink 应用程序端到端的 Exactly-Once 语义示例 Flink 应用程序启动预提交阶段在 Flink 中实现两阶段提交 Operator总结Apache Flink 自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性：TwoPhaseCommitSinkFunction（相关....