流处理云消息队列 Kafka 版的相关内容

文章 2024-04-24 来自：开发者社区

[AIGC 大数据基础] 大数据流处理 Kafka

在当今信息时代，我们生活在一个数据爆炸的世界中。大数据处理已成为各行各业中不可或缺的一部分。在大数据处理的过程中，流处理变得越来越重要，因为我们需要实时地处理和分析数据，以便做出及时的决策。在这篇博客中，我们将介绍一种流行的大数据流处理工具——Kafka，并探讨它在大数据处理中的重要性和应用。什么是Kafka？ Kafka 是一种开源的分布式流处理平台，由Apache...

文章 2023-05-27 来自：开发者社区

「事件驱动架构」技术架构师必看事件溯源，CQRS，流处理和Kafka之间的复杂关系

事件溯源作为一种应用程序架构模式越来越流行。事件源涉及将应用程序进行的状态更改建模为事件的不可变序列或“日志”。事件源不是在现场修改应用程序的状态，而是将触发状态更改的事件存储在不可变的日志中，并将状态更改建模为对日志中事件的响应。我们之前曾写过有关事件源，Apache Kafka及其相关性的文章。在本文中，我将进一步探讨这些想法，并展示流处理（尤其是Kafka Streams）如何帮助将事件源....

文章 2023-05-25 来自：开发者社区

「事件驱动架构」事件溯源，CQRS，流处理和Kafka之间的复杂关系

文章 2023-05-23 来自：开发者社区

「事件驱动架构」事件溯源，CQRS，流处理和Kafka之间的多角关系

事件溯源作为一种应用程序体系结构模式越来越流行。事件源涉及将应用程序进行的状态更改建模为事件的不可变序列或“日志”。事件源不是在现场修改应用程序的状态，而是将触发状态更改的事件存储在不可变的日志中，并将状态更改建模为对日志中事件的响应。我们之前曾写过有关事件源，Apache Kafka及其相关性的文章。在本文中，我将进一步探讨这些想法，并展示流处理（尤其是Kafka Streams）如何帮助将事....

文章 2022-12-29 来自：开发者社区

Spark Streaming实时流处理项目实战笔记——使用KafkaSInk将Flume收集到的数据输出到Kafka

Flume配置文件a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.bind = hadoop a1.sources.r1.port = 44444 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.si....

文章 2022-12-29 来自：开发者社区

Spark Streaming实时流处理项目实战笔记——Kafka Consumer Java API编程

1、在控制台创建发送者kafka-console-producer.sh --broker-list hadoop2:9092 --topic zz >hello world2、消费者APIimport java.util.Arrays; import java.util.Properties; import org.apache.kafka.clients.consumer.Consum....

文章 2022-05-26 来自：开发者社区

最简单流处理引擎——Kafka Streams简介

Kafka在0.10.0.0版本以前的定位是分布式，分区化的，带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm，Spark Streaming，Flink等流式处理框架。Storm，Spark Streaming，Flink流处理的三驾马车各有各的优势.Storm低延迟，并且在市场中占有一定的地位，目前很多公司仍在使用。Spar....

文章 2022-02-17 来自：开发者社区

通过流处理平台Kafka与云原生数据仓库PostgreSQL做实时数据交互

一、概述 Apache Kafka是一种开源流数据处理平台，因为其部署简单、性能良好的特性得到广泛应用。本文介绍基于Apache Kafka平台将按约定格式与云原生数据仓库PostgreSQL版做实时数据交互，同步数据至云原生数据仓库PostgreSQL版（以下简称ADBPG）的链路。本文内容安排如下：第二章“背景知识”会介绍本链路中组件的基础知识以及一些名词解释，第三章“原理与架构”会介绍链路....

文章 2022-02-16 来自：开发者社区

介绍一位分布式流处理新贵：Kafka Stream

本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中的关键问题，如时间定义，窗口操作，Join操作，聚合操作，以及如何处理乱序和提供容错能力。最后结合....