「事件驱动架构」Apache Kafka再平衡协议:再平衡协议101

「事件驱动架构」Apache Kafka再平衡协议:再平衡协议101

自从Apache Kafka 2.3.0以来,Kafka Connect和消费者特别使用的内部再平衡协议经历了几次重大变化。再平衡协议不是一件简单的事情,有时看起来像魔术。在这篇文章中,我建议回到这个协议的基础,也就是Apache Kafka消费机制的核心。然后,我们将讨论其局限性和目前的改进。Ka...

「事件驱动架构」Kafka中的模式注册表和模式演化

「事件驱动架构」Kafka中的模式注册表和模式演化

在这篇文章中,我们将通过Kafka模式注册表来研究Kafka中的模式演化和兼容性类型。通过对兼容性类型的良好理解,我们可以安全地随着时间的推移对模式进行更改,而不会无意中破坏生产者或消费者的利益。数据集在我们的“真实世界中的Hadoop开发者”课程中,有一章专门讨论Kafka。在这一章中,我们从Me...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图
「物联网架构」通过 Kafka和MQTT实现大规模的物联网和事件流

「物联网架构」通过 Kafka和MQTT实现大规模的物联网和事件流

随着有价值的用例的出现,物联网(IoT)正得到越来越多的关注。然而,一个关键的挑战是整合设备和机器来实时和大规模地处理数据。Apache Kafka®及其周边的生态系统,包括Kafka Connect、Kafka Streams和ksqlDB,已经成为集成和处理这类数据集的首选技术。在Kafka客户...

「微服务架构」Kafka和Moskitto那个更适合微服务之间的通信?

「微服务架构」Kafka和Moskitto那个更适合微服务之间的通信?

近年来,微服务架构越来越流行。Docker和Kubernetes等编排工具使创建和维护此类应用程序变得非常简单。可以说,这些工具甚至正在推动微服务架构。微服务之间的通信不幸的是,这样的架构,除了许多优点之外,也有一些挑战!其中之一就是在微服务之间找到一种良好的通信方式。如果您遇到这样的问题,您肯定听...

「物联网架构」HiveMQ和Apache Kafka流式处理IoT数据和MQTT消息

「物联网架构」HiveMQ和Apache Kafka流式处理IoT数据和MQTT消息

Apache Kafka是一个实时流平台,在大大小小的组织中得到了广泛的采用。Kafka的分布式微服务架构和发布/订阅协议使得它非常适合在企业系统和应用程序之间实时移动数据。据统计,超过三分之一的财富500强公司正在使用Kafka。在Github上,Kafka是最受欢迎的Apache项目之一,有超过...

【事件驱动架构】 全面了解Kafka和RabbitMQ选型(1) -两种不同的消息传递方式

【事件驱动架构】 全面了解Kafka和RabbitMQ选型(1) -两种不同的消息传递方式

在这一部分中,我们将探讨RabbitMQ和Apache Kafka以及它们的消息传递方法。每种技术在设计的每个方面都做出了截然不同的决定,每种方面都有优点和缺点。我们不会在这一部分得出任何有力的结论,而是将其视为技术的入门,以便我们可以深入探讨该系列的后续部分。RabbitMQRabbitMQ是一个...

「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流(下)

「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流(下)

步骤7/12:安装并运行Apache Kafka从VM的桌面环境中打开Firefox并下载Apache Kafka(我使用的是kafka_2.11-2.1.1.tgz)。现在,打开一个Linux shell并重置CLASSPATH环境变量(在BigDataLite-4.11虚拟机中设置的当前值会在K...

「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流(上)

「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流(上)

我们通过GoldenGate技术在Oracle DB和Kafka代理之间创建集成,该技术实时发布Kafka中的CDC事件流。Oracle在其Oracle GoldenGate for Big Data套件中提供了一个Kafka连接处理程序,用于将CDC(更改数据捕获)事件流推送到Apache Kaf...

「首席看事件流架构」Kafka深挖第4部分:事件流管道的连续交付

「首席看事件流架构」Kafka深挖第4部分:事件流管道的连续交付

对于事件流应用程序开发人员,根据管道中各个应用程序的更改需要不断更新流管道非常重要。理解流开发人员用于构建事件流管道的一些常见流拓扑也很重要。在Apache Kafka Deep Dive博客系列的Spring的第4部分中,我们将讨论:Spring云数据流支持的通用事件流拓扑模式在Spring云数据...

「事件驱动架构」事件溯源,CQRS,流处理和Kafka之间的多角关系

「事件驱动架构」事件溯源,CQRS,流处理和Kafka之间的多角关系

事件溯源作为一种应用程序体系结构模式越来越流行。事件源涉及将应用程序进行的状态更改建模为事件的不可变序列或“日志”。事件源不是在现场修改应用程序的状态,而是将触发状态更改的事件存储在不可变的日志中,并将状态更改建模为对日志中事件的响应。我们之前曾写过有关事件源,Apache Kafka及其相关性的文...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云消息队列 Kafka 版架构相关内容