问答 2021-12-07 来自:开发者社区

Spark Streaming处理数据的特点是什么?

Spark Streaming处理数据的特点是什么?

问答 2021-12-07 来自:开发者社区

spark streaming是如何收集和处理数据的?

spark streaming是如何收集和处理数据的?

问答 2021-12-06 来自:开发者社区

如何实现Spark Streaming读取flume中的数据?

如何实现Spark Streaming读取flume中的数据?

文章 2019-06-04 来自:开发者社区

使用 Kafka + Spark Streaming + Cassandra 构建数据实时处理引擎

Apache Kafka 是一个可扩展,高性能,低延迟的平台,允许我们像消息系统一样读取和写入数据。我们可以很容易地在 Java 中使用 Kafka。 Spark Streaming 是 Apache Spark 的一部分,是一个可扩展、高吞吐、容错的实时流处理引擎。虽然是使用 Scala 开发的,但是支持 Java API。 Apache Cassandra 是分布式的 NoSQL 数据库。在....

文章 2018-05-06 来自:开发者社区

通过Spark Streaming从TCP协议中获取实时流数据(scala测试代码)

scala的简单实现: package lab2012 import org.apache.spark._ import org.apache.spark.streaming._ object WaitToGetWordFromTCP { def main(args: Array[String]): Unit = { // Spark Streaming程序以Streamin...

文章 2017-11-07 来自:开发者社区

Spark Streaming kafka实现数据零丢失的几种方式

 在使用Spark streaming消费kafka数据时,程序异常中断的情况下发现会有数据丢失的风险,本文简单介绍如何解决这些问题。 在问题开始之前先解释下流处理中的几种可靠性语义: 1、At most once - 每条数据最多被处理一次(0次或1次),这种语义下会出现数据丢失的问题; 2、At least once - 每条数据最少被处理一次 (1次或更多),这个不会出现数据丢失,...

文章 2016-09-07 来自:开发者社区

Spark Streaming 数据产生与导入相关的内存分析

前言 我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。 一个大致的数据接受流程 一些存储结构的介绍 哪些点可能导致内存问题,以及相关的配置参数 另外,有位大牛写了Spark Streaming 源码解析系列,我觉得写的不错,这里也推荐下。 我在部门尽力推荐使用Spark Streaming做数据处理,目前已经应用在日志处理,机器学习等领...

问答 2016-06-07 来自:开发者社区

spark streaming接loghub数据的输出格式

spark streaming接loghub数据的输出格式

问答 2016-06-07 来自:开发者社区

测试LogService,spark Streaming 读取不到数据?

测试LogService,spark Streaming 读取不到数据?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注