Spark Streaming消费 - 日志服务

日志服务采集到日志数据后,可以通过运行 Spark Streaming任务消费日志数据。 日志服务提供的 ...

通过Spark Streaming作业处理Kafka数据 - E-MapReduce

本文介绍如何使用阿里云E-MapReduce创建的Hadoop和Kafka集群,运行 Spark Streaming作业以消费Kafka ...
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

Spark Streaming作业配置 - E-MapReduce

本文介绍如何配置 Spark Streaming类型的作业 ...

实时Spark Streaming消费示例 - E-MapReduce

() import spark.implicits._ // Create DataSet representing the stream of input lines from loghub val lines = spark ...

Spark修炼之道(进阶篇)——Spark入门到精通:第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming

主要内容 Spark SQL、DataFrame与 Spark Streaming1. Spark SQL、DataFrame与 Spark Streaming源码直接参照:https://github.com/apache ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1381 回复:0

hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

有人配置过 spark. streaming.dynamicAllocation.enabled这个参数吗,这个参数对 spark streaming会生效,但是没找到文档说 spark structured streaming 是否会生效 ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0

Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍

null【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送-- Spark入门实战系列》获取1、 Spark Streaming简介1.1&概述 Spark Streaming&是 Spark核心API的一个扩展,可以实现 ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:13 回复:0

Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战

/app/hadoop/ spark-1.1.0/1.2&实例1:读取文件演示1.2.1&演示说明在该实例中 Spark Streaming将监控某目录中的文件,获取在间隔时间段内变化的数据,然后通过 Spark ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:14 回复:0

Spark Streaming概念学习系列之Spark Streaming 架构(二)

null&                             图 1 & & & Spark Streaming 架构图&&& Spark Streaming ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:12 回复:0

Spark Streaming场景应用- Spark Streaming计算模型及监控

Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合我们的应用场景,介结我们在使用 Spark Streaming方面的技术架构,并着重讲解 Spark Streaming两种计算 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:196 回复:0

spark streaming 把spark.streaming.concurrentJobs设置成2就报错

为什么呢?我把集群的服务器时间都同步了一下,精确到2秒内了。 我看 spark源码是InputInfoTracker的cleanup给删掉的。是不是要设置下这个参数" spark. streaming.internal.batchTime",我没查到这个参数是干什么的。 ...
来自: 开发者社区 > 论坛 作者: angella_吉吉 浏览:222 回复:3

Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark Streaming(一)

本节主要内容本节部分内容来自官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.html#mllib-operations Spark流式 ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1131 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十六节 Spark Streaming与Kafka

作者:周志湖主要内容 Spark Streaming与Kafka版的WordCount示例(一) Spark Streaming与Kafka版的WordCount示例(二)1. Spark Streaming与Kafka ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1807 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十二节 Spark Streaming—— DStream Window操作

作者:周志湖 微信号:zhouzhihubeyond本节主要内容Window Operation入门案例1. Window Operation Spark Streaming提供窗口操作(Window ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1252 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十四节 Spark Streaming 缓存、Checkpoint机制

作者:周志湖 微信号:zhouzhihubeyond主要内容本节内容基于官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.html ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1851 回复:1

Spark修炼之道(进阶篇)——Spark入门到精通:第十一节 Spark Streaming—— DStream Transformation操作

本节主要内容本节部分内容来自官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.htmlDStream Transformation ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1564 回复:0

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包, spark ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注:本文介绍了两大常用的流式处理框架, Spark Streaming和Kafka Stream,并对他们各自的特点做了详细说明,以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加,仅仅对大量的数据进行处理是不够的。数据 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:243 回复:1

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注:本文介绍了两大常用的流式处理框架, Spark Streaming和Kafka Stream,并对他们各自的特点做了详细说明,以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加,仅仅对大量的数据进行处理是 ...
来自: 开发者社区 > 博客 作者: 反向一觉 浏览:57 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十一节 Spark Streaming—— DStream Transformation操作

本节主要内容本节部分内容来自官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.htmlDStream Transformation ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1564 回复:0

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包, spark ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0

Spark Streaming Kafka Stream批处理执行

Spark Streaming Kafka Stream批处理执行 ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:8 回复:0

《Spark官方文档》Spark Streaming编程指南(二)

累加器和广播变量首先需要注意的是,累加器(Accumulators)和广播变量(Broadcast variables)是无法从 Spark Streaming的检查点中恢复回来的。所以如果你开启了检查点功能,并同时在使用累加器和广播变量,那么你最好是 ...
来自: 开发者社区 > 博客 作者: 青衫无名 浏览:747 回复:0

《Spark大数据分析实战》——3.2节Spark Streaming

**本节书摘来自华章社区《 Spark大数据分析实战》一书中的第3章,第3.2节 Spark Streaming,作者高彦杰 倪亚宇,更多章节内容可以访问云栖社区“华章社区”公众号查看****3.2  Spark ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:332 回复:0

Spark-Spark Streaming例子整理(三)

SparkStreaming框架源码研究、二次开发的原因1、 Spark起初只有 Spark Core基础框架没有其他的子框架( Spark SQL、 Spark StreamingSpark ML、 Spark Graphx、 Spark R等),在其后加入了各种子框架来满足 ...
来自: 开发者社区 > 博客 作者: 小金子 浏览:38 回复:0

Spark-Spark Streaming-广告点击的在线黑名单过滤

org.apache. spark.SparkConfimport org.apache. spark. streaming.StreamingContextimport org.apache. spark. streaming.Secondsobject ...
来自: 开发者社区 > 博客 作者: 小金子 浏览:24 回复:0

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

问题导读: 1.Kafka和 Spark Steaming分别是什么? 2.怎样搭建Kafka 集群? 3.怎样使用 Kafka 和 Spark Streaming 构建实时数据处理系统? img001.jpg (8.54 KB, 下载次数: 1) 下载 ...
来自: 开发者社区 > 论坛 作者: yang1029 浏览:210 回复:9

Spark源码系列(八)Spark Streaming实例分析

问题导读 1、如何保存接收到的数据? 2、如何处理接收到的数据? 3、调用getOrCompute方法获得RDD的流程有哪些? 这一章要讲 Spark Streaming,讲之前首先回顾下它的用法,具体用法请参照《 Spark Streaming编程讲解 ...
来自: 开发者社区 > 论坛 作者: yabing 浏览:222 回复:1

谈谈Spark与Spark-Streaming关系

spark程序是使用一个 spark应用实例一次性对一批历史数据进行处理, spark streaming是将持续不断输入的数据流转换成多个batch分片,使用一批 spark应用实例进行处理,侧重点在Steaming上面。我们常说的 Spark ...
来自: 开发者社区 > 博客 作者: 反向一觉 浏览:29 回复:0

【Spark Summit East 2017】Kafka、YARN与Spark Streaming作为一个服务

本讲义出自Jim Dowling在 Spark Summit East 2017上的演讲,主要介绍了在容易进行调试的YARN上构建多租户 Spark streaming应用程序的过程中遇到的挑战,并展示了如何使用ELK技术栈对 Spark streaming ...
来自: 开发者社区 > 博客 作者: 小猫吃鱼569 浏览:957 回复:0

【Spark Summit East 2017】基于Elastic Spark Streaming的自动伸缩系统

本讲义出自PhuDuc Nguyen在 Spark Summit East 2017上的演讲,主要介绍了不支持开箱即用的在不中断实时 Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务 ...
来自: 开发者社区 > 博客 作者: 小猫吃鱼569 浏览:524 回复:0

10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】

本次直播我们邀请了Tablestore存储服务技术专家 朱晓然 ,为大家详细介绍如何基于Tablestore的CDC技术,将大表内实时数据更新对接 Spark Streaming来实现数据的实时计算和处理。主题:Tablestore Spark ...
来自: 开发者社区 > 博客 作者: 雷飙 浏览:52 回复:0

Spark新人关于Spark Stream应用的一些疑问,望大神帮忙解答,不胜感激~

    大家好,我是 spark新人,有问题想向大家请教~    小白我最近在做实时报文的解码、处理与分析的工作,因为看中了 spark streaming的实时数据处理能力和mllib机器学习库,所以想用其作为开发 ...
来自: 开发者社区 > 论坛 作者: 叮叮糖 浏览:117 回复:2

Spark-Spark Streaming例子整理(一)

源数据;信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等;通信时代的手机、平板、智能设备、物联网等会产生很多实时数据,数据流无处不在。在大数据时代 Spark  Streaming能做什么?平时 ...
来自: 开发者社区 > 博客 作者: 小金子 浏览:50 回复:0

spark图感知及图数据挖掘:图流合壁,基于Spark Streaming和GraphX的动态图计算

“2015 Spark技术峰会”,我们请到了阿里巴巴淘宝技术部高级技术专家黄明(明风)担任演讲嘉宾, 他将带来的分享主题为《图流合壁:基于 Spark Streaming和GraphX的动态图计算》,下面是内容简介: 借助GraphX的强大 ...
来自: 开发者社区 > 论坛 作者: 李菁菁菁 浏览:239 回复:4

Spark教程(2)Spark Streaming 介绍

问题导读 1、如何利用DStream所提供的api,而在数据流上实时进行操作? 2、你如何理解 Spark Streaming启动后的流程? 3、如何创建StreamingContext对象? 1.png (29.73 KB, 下载次数: 9) 下载附件 ...
来自: 开发者社区 > 论坛 作者: 脱离桎梏 浏览:267 回复:0

Spark入门:Spark Streaming 概览

概览 Spark StreamingSpark API的一个可横向扩容,高吞吐量,容错的实时数据流处理引擎, Spark能够从Kafka、Flume、Kinesis或者TCP等等输入获取数据,然后能够使用复杂的计算表达式如map ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:127 回复:0

【Spark Summit EU 2016】从使用Spark Streaming中所学到的经验

本讲义出自Miklos Christine在 Spark Summit EU 2016上的演讲,主要介绍了 Spark Streaming的总体架构设计, Spark Streaming与结构化的流计算相比的不同之处以及目前阶段 Spark Streaming的 ...
来自: 开发者社区 > 博客 作者: 小猫吃鱼569 浏览:569 回复:0

Spark生态之Spark Streaming

resultRdd.saveAsTextFile(output) &&&&&&& Spark Streaming是什么 ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:4 回复:0

是时候放弃 Spark Streaming, 转向 Structured Streaming 了

正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少,Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下,Stru...

Structured Streaming Programming Guide

https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html http://www.slideshare.net/databricks/a-deep-dive-into-structured-str...

Structed Streaming 小案例

1 首先是官网: http://spark.apache.org/docs/latest/structured-streaming-programming-guide.ht 2.注意官方文档中的着重表示的地方例如(黑体加重,斜体等) 我们都知道spark streaming 是基于s...

Structured Streaming VS Flink

Flink是标准的实时处理引擎,而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的,不过现在Spark Streaming已经非常稳定基本都没有更新了,然后重点移到spark sql和structured Streaming了。 Fl...

Structured Streaming 之窗口事件时间聚合操作

Spark Streaming 中 Exactly Once 指的是: 每条数据从输入源传递到 Spark 应用程序 Exactly Once 每条数据只会分到 Exactly Once batch 处理 输出端文件系统保证幂等关系 Structured Streaming 返回的...

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者:伯箫,阿里云高级开发工程师。现在在阿里云表格存储团队,负责管控系统的开发,对NOSQL类数据库系统有一些了解。 前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以L...

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者:伯箫,阿里云高级开发工程师。现在在阿里云表格存储团队,负责管控系统的开发,对NOSQL类数据库系统有一些了解。 前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以...

Spark 2.0 Structured Streaming 分析

前言 Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一张无线长度的表,同时将流式计算的结果映射为另外一张表,完全以结构化的方式去操作流式数据,复用了其对象的Catalyst引擎。 Spark 2.0 之前 作为S...

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时...

现代流式计算的基石:Google DataFlow

0. 引言 今天这篇继续讲流式计算。毫无疑问,Apache Flink 和 Apache Spark (Structured Streaming)现在是实时流计算领域的两个最火热的话题了。那么为什么要介绍 Google Dataflow 呢?Streaming Systems 这本书在分析 Fli...
< 1 2 3 4 ... 309 >
共有309页 跳转至: GO
产品推荐
数据总线 E-MapReduce 云服务器 物联网无线连接服务 商标 SSL证书 短信服务
这些文档可能帮助您
Serverless Presto概述 日期和时间函数 背景信息以及准备工作 什么是DataWorks Serverless Spark概述 JSON函数

新品推荐

你可能感兴趣

热门推荐

2021阿里云采购季 采购季云服务器会场 采购季数据库会场 采购季存储会场 采购季云网络会场 采购季云通信会场 采购季中小企业应用会场 采购季大数据会场 采购季人工智能会场 CDN与视频云分会场 采购季物联网分会场 采购季安全分会场