apache spark streaming 的相关内容

文章 2022-05-15 来自：开发者社区

Spark Streaming之UpdateStateByKey算子详解

流处理中，有个状态（state）的概念：无状态的：当前批次处理完之后，数据只与当前批次有关有状态的：前后批次的数据处理完之后，之间是有关系的updateStateByKey解读updateStateByKey：返回的是一个新的并且带有状态的DStream，会根据每一个key进行更新，更新的规则是根据自己定义的function来确定的。updateStateByKey操作允许您在使用新信息不断更新....

文章 2022-05-12 来自：开发者社区

Spark Streaming架构原理详解！（二）

五、Spark Streaming基于HDFS的实时计算开发基于HDFS文件的实时计算，其实就是，监控一个HDFS目录，只要其中有新文件出现，就实时处理。相当于处理实时的文件流。streamingContext.fileStream<KeyClass, ValueClass, InputFormatClass>(dataDirectory) streamingContext.str.....

文章 2022-05-12 来自：开发者社区

Spark Streaming架构原理详解！（一）

一、Spark Streaming功能介绍（1）概述Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理.Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TC....

问答 2022-05-12 来自：开发者社区

Flink和Spark Streaming相比有哪些不同？

问答 2022-05-10 来自：开发者社区

当把仅有确定性计算的 Spark Streaming 和 Flink 进行对比时二者的不同点有哪些？

问答 2022-05-10 来自：开发者社区

如果 Spark Streaming 存在非确定性的计算，则不能实现端到端一致，原因是什么？

文章 2022-05-06 来自：开发者社区

实战|使用Spark Structured Streaming写入Hudi

1. 项目背景传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。然而实时同步数仓从一开始就面临如下几个挑战：小文件问题。不论是spark的micro....

文章 2022-04-21 来自：开发者社区

图解大数据 | Spark Streaming @流式数据处理

作者：韩信子@ShowMeAI教程地址：http://www.showmeai.tech/tutorials/84本文地址：http://www.showmeai.tech/article-detail/179声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.Spark Streaming解读1）Spark Streaming简介Spark Streaming....