Spark Streaming消费 - 日志服务

日志服务采集到日志数据后,可以通过运行 Spark Streaming任务消费日志数据。 日志服务提供的 ...

通过Spark Streaming作业处理Kafka数据 - E-MapReduce

本文介绍如何使用阿里云E-MapReduce创建的Hadoop和Kafka集群,运行 Spark Streaming作业以消费Kafka数据。 前提条件 已注册 ...

Spark Streaming作业配置 - E-MapReduce

本文介绍如何配置 Spark Streaming类型的作业。 前提条件 已创建好项目,详情请参见项目管理。 已准备好作业所需的资源,以及作业要处理 ...
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

实时 Spark Streaming 消费示例 - E-MapReduce

._ // Create DataSet representing the stream of input lines from loghub val lines = spark .readStream .format ...

Spark修炼之道(进阶篇)——Spark入门到精通:第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming

主要内容 Spark SQL、DataFrame与 Spark Streaming1. Spark SQL、DataFrame与 Spark Streaming源码直接参照:https://github.com/apache ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1381 回复:0

hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

有人配置过 spark. streaming.dynamicAllocation.enabled这个参数吗,这个参数对 spark streaming会生效,但是没找到文档说 spark structured streaming 是否会生效 ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0

Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍

null【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送-- Spark入门实战系列》获取1、 Spark Streaming简介1.1&概述 Spark Streaming&是 Spark核心API的一个扩展,可以实现 ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:13 回复:0

Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战

/app/hadoop/ spark-1.1.0/1.2&实例1:读取文件演示1.2.1&演示说明在该实例中 Spark Streaming将监控某目录中的文件,获取在间隔时间段内变化的数据,然后通过 Spark ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:14 回复:0

Spark Streaming概念学习系列之Spark Streaming 架构(二)

null&                             图 1 & & & Spark Streaming 架构图&&& Spark Streaming ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:12 回复:0

Spark Streaming场景应用- Spark Streaming计算模型及监控

Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合我们的应用场景,介结我们在使用 Spark Streaming方面的技术架构,并着重讲解 Spark Streaming两种计算 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:196 回复:0

spark streaming 把spark.streaming.concurrentJobs设置成2就报错

为什么呢?我把集群的服务器时间都同步了一下,精确到2秒内了。 我看 spark源码是InputInfoTracker的cleanup给删掉的。是不是要设置下这个参数" spark. streaming.internal.batchTime",我没查到这个参数是干什么的。 ...
来自: 开发者社区 > 论坛 作者: angella_吉吉 浏览:222 回复:3

Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark Streaming(一)

本节主要内容本节部分内容来自官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.html#mllib-operations Spark流式 ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1131 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十六节 Spark Streaming与Kafka

作者:周志湖主要内容 Spark Streaming与Kafka版的WordCount示例(一) Spark Streaming与Kafka版的WordCount示例(二)1. Spark Streaming与Kafka ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1807 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十二节 Spark Streaming—— DStream Window操作

作者:周志湖 微信号:zhouzhihubeyond本节主要内容Window Operation入门案例1. Window Operation Spark Streaming提供窗口操作(Window ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1252 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十四节 Spark Streaming 缓存、Checkpoint机制

作者:周志湖 微信号:zhouzhihubeyond主要内容本节内容基于官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.html ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1851 回复:1

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注:本文介绍了两大常用的流式处理框架, Spark Streaming和Kafka Stream,并对他们各自的特点做了详细说明,以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加,仅仅对大量的数据进行处理是不够的。数据 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:243 回复:1

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注:本文介绍了两大常用的流式处理框架, Spark Streaming和Kafka Stream,并对他们各自的特点做了详细说明,以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加,仅仅对大量的数据进行处理是 ...
来自: 开发者社区 > 博客 作者: 反向一觉 浏览:57 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十一节 Spark Streaming—— DStream Transformation操作

本节主要内容本节部分内容来自官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.htmlDStream Transformation ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1564 回复:0

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包, spark ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0
< 1 2 3 4 ... 1325 >
共有1325页 跳转至: GO
产品推荐
Databricks 数据洞察 云服务器 商标 SSL证书 对象存储 物联网无线连接服务 短信服务 负载均衡SLB
这些文档可能帮助您
什么是Databricks数据洞察 Databricks数据洞察使用流程 Notebook概述 管理Notebook 使用Notebook 查看数据库信息

新品推荐

你可能感兴趣

热门推荐

阿里云企典 企典文档内容 阿里云云电脑-无影 弹性加速计算 阿里云全栈数据工厂 Databricks 数据洞察 阿里云无影