AI 助理
备案控制台
文章 2017-02-09 来自：开发者社区

15【在线日志分析】之基于Spark Streaming+Saprk SQL开发OnLineLogAanlysis2（Final）

1.influxdb创建database[root@sht-sgmhadoopdn-04 app]# influx -precision rfc3339Connected to http://localhost:8086 version 1.2.0InfluxDB shell version: 1.2.0>create database online_log_analysis  2...

文章 2017-01-14 来自：开发者社区

10【在线日志分析】之基于Spark Streaming开发OnLineLogAanlysis1

1.GitHubhttps://github.com/Hackeruncle/OnlineLogAnalysis/blob/master/online_log_analysis/src/main/java/com/learn/java/main/OnLineLogAnalysis1.java 2.使用IDEA 本地运行测试（未打jar包）

文章 2017-01-14 来自：开发者社区

09【在线日志分析】之基于Spark Streaming Direct方式的WordCount最详细案例(java版)

1.前提 a. flume 收集--》flume 聚合--》kafka ，启动进程和启动kafka manager监控     08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster b.window7 安装jdk1.7 或者1.8(本次环境是1.8)c.window7 安装IDEA开发工具(以下仅供参考)使用Intell...

文章 2017-01-13 来自：开发者社区

Spark Streaming函数的分析与理解

Go to   http://blog.csdn.net/dabokele/article/details/52602412

文章 2016-09-12 来自：开发者社区

Spark 2.0 Structured Streaming 分析

前言 Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的方式去操作流式数据，复用了其对象的Catalyst引擎。 Spark 2.0 之前 作为Spark平台的流式实现，Spark Streaming 是有单独一套抽象和API的，大体如下 ...

文章 2016-09-11 来自：开发者社区

利用Spark Streaming实现分布式采集系统

前言 前两天我刚在自己的一篇文章中鼓吹数据天生就是流式的,并且指出： 批量计算已经在慢慢退化，未来必然是属于流式计算的，数据的流动必定是由数据自己驱动流转的。 而Spark Streaming 在上层概念上，完美融合了批量计算和流式计算，让他们你中有我，我中有你，这种设计使得Spark Streaming 作为流式计算的一个载体，同时也能作为其他一些需要分布式架构的问题提供解决方案。 Spark....

文章 2016-09-10 来自：开发者社区

Spark Streaming + Spark SQL 实现配置化ETL流程

项目地址 前言 传统的Spark Streaming程序需要： 构建StreamingContext 设置checkpoint 链接数据源 各种transform foreachRDD 输出 通常而言，你可能会因为要走完上面的流程而构建了一个很大的程序，比如一个main方法里上百行代码，虽然在开发小功能上足够便利，但是复用度更方面是不够的，而且不利于协作，所以需要一个更高层的...

文章 2016-09-10 来自：开发者社区

Spark Streaming 误用.transform(func)函数导致的问题解析

问题描述 今天有朋友贴了一段 gist,大家可以先看看这段代码有什么问题。 特定情况你会发现UI 的Storage标签上有很多新的Cache RDD，然后你以为是Cache RDD 不被释放，但是通过Spark Streaming 数据清理机制分析我们可以排除这个问题。 接着通过给RDD的设置名字,名字带上时间，发现是延时的Batch 也会产生cache RDD。那这是怎么回事呢？ 另外还有一个....

文章 2016-09-09 来自：开发者社区

Spark Streaming 数据清理机制

前言 为啥要了解机制呢？这就好比JVM的垃圾回收，虽然JVM的垃圾回收已经巨牛了，但是依然会遇到很多和它相关的case导致系统运行不正常。 这个内容我记得自己刚接触Spark Streaming的时候，老板也问过我，运行期间会保留多少个RDD? 当时没回答出来。后面在群里也有人问到了，所以就整理了下。文中如有谬误之处，还望指出。 DStream 和 RDD 我们知道Spark Streaming....

文章 2016-09-09 来自：开发者社区

Spark Streaming Dynamic Resource Allocation

Problem Statement DRA has already been implemented since Spark 1.2 . However the existing Spark DRA on Yarn implementation does not embody the specific property of Spark Streaming.   Spark DRA wo...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多streaming相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注