《Spark与Hadoop大数据分析》一一导读

书中还讲解了如何使用 Spark Streaming 配合 Apache Kafka 和 HBase 进行实时数据分析,以帮助构建流式应用程序(streaming application)。新的结构化流(Structured Streaming)概念会通过物联网(Internet of ...

《循序渐进学Spark》一导读

SQL,书中用实际的代码样例更详细地说明和讲解了SparkSession、结构化Streaming等新特性。对于Spark的初学者或希望从零开始详细了解Spark技术的读者,请从第1章开始通读全书;对于有一定Spark基础的研究者,可从第4...

开源大数据周刊-第60期

Streaming方面的技术架构,并着重讲解Spark Streaming两种计算模型:无状态和状态计算模型以及该两种模型的注意事项。接着介绍了Spark Streaming在监控方面所做的一些事情,最后总结了Spark Streaming的优缺点。...

《Spark与Hadoop大数据分析》——导读

书中还讲解了如何使用 Spark Streaming 配合 Apache Kafka 和 HBase 进行实时数据分析,以帮助构建流式应用程序(streaming application)。新的结构化流(Structured Streaming)概念会通过物联网(Internet of ...

Flink 原理与实现:Session Window

本文将深入讲解一种较为特殊的窗口:会话窗口(session window)。建议您在阅读完上一篇文章的基础上再阅读本文。当我们需要分析用户的一段交互的行为事件时,通常的想法是将用户的事件流按照“session”来分组。...

《Spark与Hadoop大数据分析》——第1章 从宏观视角看...

SQL、DataFrame、Dataset、Spark Streaming、Structured Streaming、MLlib、GraphX 和 SparkR,以及它与分析组件(如Jupyter、Zeppelin、Hive、HBase)及数据流工具(例如 NiFi)的集成。此外,本书还会通过使用...

《Spark与Hadoop大数据分析》一一第1章 从宏观视角看...

SQL、DataFrame、Dataset、Spark Streaming、Structured Streaming、MLlib、GraphX 和 SparkR,以及它与分析组件(如Jupyter、Zeppelin、Hive、HBase)及数据流工具(例如 NiFi)的集成。此外,本书还会通过使用...

Android软件测试的日志文件问题

讲解一下各自作用: 通过DDMS抓的其实跟用dos批处理抓的一样都是logcat的日志文件,ddms抓的通常是main缓存中的,就是应用程序打印的日志文件。不过ddms好处在于能够实时看到带有颜色的,如果是用dos批处理只能重...

《深入浅出DPDK》—第3章3.2节指令并发与数据并行

SSE(Streaming SIMD Extensions)和Intel?AVX(Advanced Vector Extensions)指令集。3.2.2.2 实战DPDK* DPDK中的memcpy就利用到了SSE/AVX的特点。比较典型的就是rte_memcpy内存拷贝函数。内存拷贝是一个非常简单...

Gulp:插件编写入门

本文就讲解下如何实现 gulp-preprocess 这个插件 var gulp= require('gulp'),preprocess=require('gulp-preprocess');gulp.task('default', function()gulp.src('src/index.html').pipe(preprocess('程序猿小卡'})) ...

剖析大数据平台的数据处理

行文至此,整个大数据平台系列的讲解就快结束了。最后,我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图,如下图所示: 这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景...

剖析大数据平台的数据处理

行文至此,整个大数据平台系列的讲解就快结束了。最后,我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图,如下图所示: 这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景...

《Spark大数据分析:核心概念、技术及实践》一导读

如果当下不需要,你可以略过后面一些章节中讲解的不同的Spark库。不过我还是鼓励你阅读所有章节。即使可能和你当前的项目不相关,那些部分也可能会给你新的灵感。通过本书你会学到很多Spark及其相关技术的知识。然而...

流媒体传输协议详解之-RTSP认证

基本认证(basic authentication)和摘要认证(digest ...本文为《流媒体开发实战进阶-rtsp视频播放器》视频课程,第一章第二节配套讲义,更多内容请收看视频讲解!http://edu.csdn.net/course/detail/2744

《深入理解Hadoop(原书第2版)》——第2章 Hadoop中...

Streaming—任何命令行脚本都可以通过Streaming调用MapReduce框架。UNIX脚本程序员、Python程序员等都可以使用MapReduce来开发一些临时任务。Hadoop Hive—使用MapReduce平台的用户发现,开发一个MapReduce程序往往...

开源大数据技术专场(下午):Databricks、Intel、阿里...

阿里云E-MapReduce团队的专家余根茂首先讲解了传统集群部署的实践,提到计算能力与存储能力的加成是集群所提供的能力。由于本地磁盘比网络传输快以及任务处理中数据获取开销大,他又强调了数据的本地性,因为计算会...

介绍一位分布式流处理新贵:Kafka Stream

最后结合示例讲解了如何使用Kafka Stream。Kafka Stream背景 1.Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka ...

深入理解Spark:核心思想与源码分析....

Streaming、图计算框架GraphX、机器学习库MLlib等内容。本书最后还添加了几个附录,包括:附录A介绍的Spark中最常用的工具类Utils;附录B是Akka的简介与工具类AkkaUtils的介绍;附录C为Jetty的简介和工具类...

MapReduce 编程模型概述

Streaming:方便用户采用非 Java 语言编写作业,允许用户指定可执行文件或者脚本作为 Mapper/Reducer。Hadoop Pipes:专门为 C/C++ 程序员编写 MapReduce 程序提供的工具包。新旧 MapReduce API 比较&从 0.20.0 版本...

云栖大会在线用户行为分析场分享:海量流式视频日志...

开源层面,我们对接了Flink、Spark Streaming、Storm等主流的流计算引擎。阿里云这边我们对接了StreamCompute、AliMonitor、ARMS、EMR、JStorm等。提供了多种语言的高级消费库,这个库屏蔽了日志服务的实现细节,...

《深入理解Hadoop(原书第2版)》——2.3Hadoop系统的...

客户端把一个文件写入到HDFS文件系统需要经过以下几个步骤:1)客户端在联系名称节点之前,会把文件数据流式地读入(streaming the file contents)到客户端本地文件系统中的一个临时文件中。2)当文件数据的大小...

大数据环境下该如何优雅地设计数据分层

吐槽完毕,本文主要讲解数据仓库的一个重要环节:如何设计数据分层!其它关于数据仓库的内容可参考其它的文章数据仓库。本文对数据分层的讨论适合下面一些场景,超过该范围场景 or 数据仓库经验丰富的大神就不必浪费...

Flink流处理之窗口算子分析

元素在streaming dataflow引擎中流动到WindowOperator时,会被分为两拨,分别是普通事件和水印。如果是普通的事件,则会调用processElement方法(上图虚线框中的三个圆圈中的一个)进行处理,在processElement方法中...

剑桥大学研究院总结:26条深度学习经验

我不会用60个小时的时间来讲解神经网络知识的价值,而会以段落的方式来总结我学到的一些有趣的知识点。在撰写本文时,暑期学校网站仍可以访问,并附有全部的演示文稿。所有的资料和插图都是来自原作者。暑期学校的...

超越批处理的世界:流计算

技术术语:为了能精确地讲解复杂的题目,必须对相关术语做精确的定义。对于一些已经被滥用的术语,我也会很明确地说明我用它们时的意思。能力:我会对一些反复感受到的流计算系统的缺点做一些评论。我也会提出我所...
< >
共有0页 跳转至: GO
产品推荐
云服务器 物联网无线连接服务 SSL证书 轻量应用服务器 块存储 商标
这些文档可能帮助您
什么是阿里云实时计算Flink版 什么是Quick BI 什么是E-MapReduce 什么是MaxCompute 什么是DataV数据可视化 什么是Dataphin

你可能感兴趣

热门推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化