将 Spark Streaming + Kafka direct 的 offset 存入Zookeeper并重用

createDirectStream 方法,详细的可以参考 Spark Streaming + Kafka Integration Guide ,但是第二种使用方式中  kafka 的 offset 是保存在 checkpoint 中的,如果程序重启的话 ...
来自: 开发者社区 > 论坛 作者: 猫科女孩 浏览:360 回复:2

实时Spark Streaming消费示例 - E-MapReduce

() import spark.implicits._ // Create DataSet representing the stream of input lines from loghub val lines = spark ...
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

Spark Streaming消费 - 日志服务

日志服务采集到日志数据后,可以通过运行 Spark Streaming任务消费日志数据。 日志服务提供的 ...

通过Spark Streaming作业处理Kafka数据 - E-MapReduce

。 步骤六:查看 Spark Streaming作业状态 在E-MapReduce控制台的集群 管理页面。 单击创建的Hadoop集群所在行的详情。 在左侧导航栏,单击访问链接与端口。 单击 ...

Spark Streaming作业配置 - E-MapReduce

本文介绍如何配置 Spark Streaming类型的作业。 前提条件 已创建好项目,详情请参见项目 管理。 已准备好作业所需的资源,以及作业要处理 ...

Spark Streaming 1.6 流式状态管理分析

Spark 1.6发布后,官方声称流式状态 管理有10倍性能提升。这篇文章会详细介绍 Spark Streaming里新的流式状态 管理。关于状态 管理在流式计算中,数据是持续不断来的,有时候我们要对一些数据做跨周期(Duration)的统计,这个时候就 ...
来自: 开发者社区 > 博客 作者: 祝威廉 浏览:726 回复:0

hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

有人配置过 spark. streaming.dynamicAllocation.enabled这个参数吗,这个参数对 spark streaming会生效,但是没找到文档说 spark structured streaming 是否会生效 ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming

主要内容 Spark SQL、DataFrame与 Spark Streaming1. Spark SQL、DataFrame与 Spark Streaming源码直接参照:https://github.com/apache ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1381 回复:0

Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍

null【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送-- Spark入门实战系列》获取1、 Spark Streaming简介1.1&概述 Spark Streaming&是 Spark核心API的一个扩展,可以实现 ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:13 回复:0

Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战

/app/hadoop/ spark-1.1.0/1.2&实例1:读取文件演示1.2.1&演示说明在该实例中 Spark Streaming将监控某目录中的文件,获取在间隔时间段内变化的数据,然后通过 Spark ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:14 回复:0

Spark Streaming场景应用- Spark Streaming计算模型及监控

Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合我们的应用场景,介结我们在使用 Spark Streaming方面的技术架构,并着重讲解 Spark Streaming两种计算 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:196 回复:0

Spark Streaming概念学习系列之Spark Streaming 架构(二)

null&                             图 1 & & & Spark Streaming 架构图&&& Spark Streaming ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:12 回复:0

spark streaming 把spark.streaming.concurrentJobs设置成2就报错

为什么呢?我把集群的服务器时间都同步了一下,精确到2秒内了。 我看 spark源码是InputInfoTracker的cleanup给删掉的。是不是要设置下这个参数" spark. streaming.internal.batchTime",我没查到这个参数是干什么的。 ...
来自: 开发者社区 > 论坛 作者: angella_吉吉 浏览:222 回复:3

Spark修炼之道(进阶篇)——Spark入门到精通:第十四节 Spark Streaming 缓存、Checkpoint机制

作者:周志湖 微信号:zhouzhihubeyond主要内容本节内容基于官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.html ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1851 回复:1

Spark修炼之道(进阶篇)——Spark入门到精通:第十一节 Spark Streaming—— DStream Transformation操作

本节主要内容本节部分内容来自官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.htmlDStream Transformation ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1564 回复:0

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包, spark ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark Streaming(一)

本节主要内容本节部分内容来自官方文档:http:// spark.apache.org/docs/latest/ streaming-programming-guide.html#mllib-operations Spark流式 ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1131 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十二节 Spark Streaming—— DStream Window操作

作者:周志湖 微信号:zhouzhihubeyond本节主要内容Window Operation入门案例1. Window Operation Spark Streaming提供窗口操作(Window ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1252 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十六节 Spark Streaming与Kafka

作者:周志湖主要内容 Spark Streaming与Kafka版的WordCount示例(一) Spark Streaming与Kafka版的WordCount示例(二)1. Spark Streaming与Kafka ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1807 回复:0
< 1 2 3 4 ... 9755 >
共有9755页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

阿里云企典 企典文档内容 阿里云云电脑-无影 行业资讯 云通信网络加速 三维空间重建 系统可信