文章 2024-10-14 来自:开发者社区

大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
文章 2022-06-13 来自:开发者社区

Spark Streaming架构原理详解!(二)

五、Spark Streaming基于HDFS的实时计算开发基于HDFS文件的实时计算,其实就是,监控一个HDFS目录,只要其中有新文件出现,就实时处理。相当于处理实时的文件流。streamingContext.fileStream<KeyClass, ValueClass, InputFormatClass>(dataDirectory) streamingContext.str.....

Spark Streaming架构原理详解!(二)
文章 2022-06-11 来自:开发者社区

【Spark Streaming】(一)架构及工作原理

文章目录一、简介二、流处理架构三、Micro-Batch Architecture四、工作原理4.1 Streaming Context4.2 DStream4.3 Input DStreams & Receivers五、DStream 操作六、Spark Streaming 架构七、Key Points for InputStream八、Sources of Spark Streami....

【Spark Streaming】(一)架构及工作原理
文章 2022-05-12 来自:开发者社区

Spark Streaming架构原理详解!(一)

一、Spark Streaming功能介绍(1)概述Spark Streaming是一个基于Spark Core之上的实时计算框架,可以从很多数据源消费数据并对数据进行处理.Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TC....

Spark Streaming架构原理详解!(一)
文章 2022-02-17 来自:开发者社区

从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践

摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面: 一、实时计算的痛点 二、Saber 的平台演进 三、结合 AI 的案例实践 四、未来的发展与思考 重要:点击「PPT」可下载 Flink Forward Asia 大会全部PP...

文章 2022-02-17 来自:开发者社区

用Flink取代Spark Streaming!知乎实时数仓架构演进

作者 | 知乎数据工程团队 “数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。 本文主要讲述....

用Flink取代Spark Streaming!知乎实时数仓架构演进
问答 2022-02-15 来自:开发者社区

Flink 和Spark Streaming在架构模型上的区别是什么?

Flink 和Spark Streaming在架构模型上的区别是什么?

问答 2022-01-13 来自:开发者社区

Spark streaming / Flink 通过通道服务的完整架构是什么样的?

Spark streaming / Flink 通过通道服务的完整架构是什么样的?

问答 2021-12-07 来自:开发者社区

Flink 和 Spark Streaming 在架构模型上有什么区别呢?

Flink 和 Spark Streaming 在架构模型有什么区别呢?

文章 2019-06-27 来自:开发者社区

用Flink取代Spark Streaming!知乎实时数仓架构演进

作者 | 知乎数据工程团队 “数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。 本文主要讲述....

用Flink取代Spark Streaming!知乎实时数仓架构演进

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注