云消息队列 Kafka 版流处理的相关内容

问答 2021-12-10 来自：开发者社区

SIGMOD 2021《Kafka 流处理对一致性和完整性的设计》解读

Kafka 以消息存储系统在业界闻名，近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams（流计算）、ksqlDB（基于 Kafka Streams 的类分析型 DB 系统）。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream....

文章 2020-10-16 来自：开发者社区

通过流处理平台Kafka与云原生数据仓库PostgreSQL做实时数据交互

一、概述 Apache Kafka是一种开源流数据处理平台，因为其部署简单、性能良好的特性得到广泛应用。本文介绍基于Apache Kafka平台将按约定格式与云原生数据仓库PostgreSQL版做实时数据交互，同步数据至云原生数据仓库PostgreSQL版（以下简称ADBPG）的链路。本文内容安排如下：第二章“背景知识”会介绍本链路中组件的基础知识以及一些名词解释，第三章“原理与架构”会介绍链路....

文章 2019-05-19 来自：开发者社区

Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的

Airbnb 日志事件获取日志事件从客户端（例如移动应用程序和 Web 浏览器）和在线服务发出，其中包含行为或操作的关键信息。每个事件都有一个特定的信息。例如，当客人在 Airbnb.com 上搜索马里布的海滨别墅时，将生成包含位置，登记和结账日期等的搜索事件。在 Airbnb，事件记录对于我们理解客人和房东，然后为他们提供更好的体验至关重要。它为业务决策提供信息，并推动工程功能（如搜索，实....

文章 2017-11-15 来自：开发者社区

Apache Samza流处理框架介绍——kafka+LevelDB的Key/Value数据库来存储历史消息+？

转自：http://www.infoq.com/cn/news/2015/02/apache-samza-top-project Apache Samza是一个开源、分布式的流处理框架，它使用开源分布式消息处理系统Apache Kafka来实现消息服务，并使用资源管理器Apache Hadoop YARN实现容错处理、处理器隔离、安全性和资源管理。近日，从Apache官方博客中得知，开源的分布式....

文章 2017-10-10 来自：开发者社区

介绍一位分布式流处理新贵：Kafka Stream

本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中的关键问题，如时间定义，窗口操作，Join操作，聚合操作，以及如何处理乱序和提供容错能力。最后结合....