AI 助理
备案控制台
文章 2017-05-02 来自：开发者社区

《Spark大数据分析实战》——3.2节Spark Streaming

本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.2节Spark Streaming，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 3.2　Spark StreamingSpark Streaming是一个批处理的流式计算框架。它的核心执行引擎是Spark，适合处理实时数据与历史数据混合处理的场景，并保证容错性。下面将对Spark Streaming....

文章 2017-05-02 来自：开发者社区

Spark Streaming Programming Guide

参考，http://spark.incubator.apache.org/docs/latest/streaming-programming-guide.html  Overview SparkStreaming支持多种流输入，like Kafka, Flume, Twitter, ZeroMQ or plain old TCP sockets，并且可以在上面进行transform操作，...

Spark Streaming Programming Guide
文章 2017-03-31 来自：开发者社区

Spark Streaming 不同Batch任务可以并行计算么？

关于Spark Streaming中的任务有如下几个概念： Batch Job Stage Task 其实Job,Stage,Task都是Spark Core里就有的概念，Batch则是Streaming特有的概念。同一Stage里的Task一般都是并行的。同一Job里的Stage可以并行，但是一般如果有依赖则是串行,可以参考我这篇文章Spark 多个Stage执行是串行执行的么？。 Job的.....

文章 2017-03-31 来自：开发者社区

StreamingPro 支持Spark Structured Streaming

前言Structured Streaming 的文章参考这里： Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了，当时也只支持FileSource(监控目录增量文件)，到2.0.2后支持Kafka了，也就进入实用阶段了，目前只支持0.10的Kafka。Structured Streaming 采用dataframe API,并且对流式计算重新进....

问答 2017-03-14 来自：开发者社区

E-mapreduce中用spark streaming 读取Loghub的问题

大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时，遇到点问题。我用Loghub监控一个文本文件，采用的是极简模式。该文本文件，每隔三秒生成一个1到10的随机数，如下图所示。 我修改了EMR集群提供的Loghubsample.scala去采集，batch interval设置为1秒，代码如下所示。 loghubStream.foreac...

文章 2017-03-02 来自：开发者社区

[Spark]Spark Streaming 指南四 输入DStreams和Receivers

1. 输入DStream与Receiver 输入DStreams表示从源中获取输入数据流的DStreams。在指南一示例中，lines表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入DStream(除 file stream)都 与一个接收器Receiver相关联，接收器从源中获取数据，并将数据存入Spark内存中来进行处理。 输入DStreams表示从数据源获取的原始....

文章 2017-03-02 来自：开发者社区

【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块

本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验，演讲的内容非常简单易懂并且非常有趣，在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。

文章 2017-03-01 来自：开发者社区

[Spark]Spark Streaming 指南三 DStreams

离散流或者DStreams是Spark Streaming提供的基本抽象，它代表一个连续的数据流。从源中获取输入流，或者是输入流通过转换算子生成的处理后的数据流。在内部，DStreams由一系列连续的 RDD组成。这是Spark对不可变，分布式数据集的抽象（更多细节参见Spark编程指南）。 DStream中的每个RDD包含来自特定间隔的数据，如下图所示： 对DStream应用的任何操作都会转.....

[Spark]Spark Streaming 指南三 DStreams
文章 2017-03-01 来自：开发者社区

[Spark]Spark Streaming 指南二 初始化StreamingContext

为了初始化Spark Streaming程序，一个StreamingContext对象必需被创建，它是Spark Streaming所有流操作的主要入口。一个StreamingContext 对象可以用SparkConf对象创建。 可以使用SparkConf对象创建JavaStreamingContext对象： SparkConf conf = new SparkConf().setAppNam....

文章 2017-03-01 来自：开发者社区

[Spark]Spark Streaming 指南一 Example

1. 概述 Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。数据可以从诸如Kafka，Flume，Kinesis或TCP套接字等许多源中提取，并且可以使用由诸如map，reduce，join或者 window等高级函数组成的复杂算法来处理。最后，处理后的数据可以推送到文件系统、数据库、实时仪表盘中。事实上，你可以将处理....

[Spark]Spark Streaming 指南一 Example

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多streaming相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注