Spark国内外书籍推荐

内核架构设计与实现原理》,作者:张安站,出版社:机械工业出版社,出版时间:2015-09-01, Spark版本:1.2.0; 《 Apache Spark 剖析》,作者:许鹏,出版社:电子工业出版社,出版时间:2015-03-01, Spark版本:1.0 ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:616 回复:0

Apache Spark源码走读(八)Graphx实现剖析&spark repl实现详解

scala 是什么样子的?启动 spark-shell之前,修改一下 spark-class,在JAVA_OPTS中加入如下内容-Dscala.repl.debug=true启动 spark-shell,输入val b = 10,生成的scala ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1548 回复:0

Apache Spark源码走读(三)Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

软件scala 2.11mavengit下载 第一步当然是将github上的 下载下来git clone https://github.com/ apache/ spark.git& 编译不是直接用 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1903 回复:0
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

Apache Spark源码走读(十一)浅谈mllib中线性回归的算法实现&Spark MLLib中拟牛顿法L-BFGS的源码实现

本文简要描述线性回归算法在 Spark MLLib中的具体实现,涉及线性回归算法本身及线性回归并行处理的理论基础,然后对代码实现部分进行走读。第二部分讲解 Spark MLLib中拟牛顿法L-BFGS的 实现。<一>浅谈 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1654 回复:0

Apache Spark源码走读(九)如何进行代码跟读&使用Intellij idea调试Spark源码

https://github.com/ apache/ spark.git导入 Spark && 1. 选择File->Import Project, 在弹出的窗口中指定 spark 目录&& 2 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1740 回复:0

Apache Spark源码走读(四)Hive on Spark运行环境搭建 &hiveql on spark实现详解

;hiveql on spark实现详解概要在新近发布的 spark 1.0中新加了sql的模块,更为引人注意的是对hive中的hiveql也提供了良好的支持,作为一个 分析控,了解一下 spark是如何完成对hql的支持是一件非常有趣的事情。Hive ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1931 回复:0

Apache Spark源码走读(一)Spark论文阅读笔记&Job提交与运行

在对 Spark 进行具体的走读之前,如果想要快速对 Spark的有一个整体性的认识,阅读Matei Zaharia做的 Spark论文是一个非常不错的选择。本文为 Spark论文阅读笔记,并讲解Job提交与运行。<一> Spark ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1521 回复:0

Apache Flink fault tolerance源码剖析(一)

。当然原理归原理,原理体现在代码实现里并不是想象中的那么直观。这里的 剖析也是我学习以及理解的过程。作为 解析Flink Fault Tolerance的首篇文章,我们先暂且不谈太有深度的东西,先来了解一下:Flink哪里涉及到检查点/快照机制来 ...
来自: 开发者社区 > 博客 作者: nicenelly 浏览:20 回复:0

Apache Flink fault tolerance源码剖析(六)

保证(Flink只保证自己的operator以及function的状态)。虽然,通常要求在两个系统之间都达到一致性保证,但我们可以通过实现连接器来达到这样的要求(比如 Apache Kafka的offset可以实现这个需求)。这种模式可以支撑高吞吐 ...
来自: 开发者社区 > 博客 作者: nicenelly 浏览:18 回复:0

Apache Flink fault tolerance源码剖析(二)

继续Flink Fault Tolerance机制 剖析。上一篇文章我们结合代码讲解了Flink中检查点是如何应用的(如何根据快照做失败恢复,以及检查点被应用的场景),这篇我们来谈谈检查点的触发机制以及基于Actor的消息驱动的协同机制。继续Flink ...
来自: 开发者社区 > 博客 作者: nicenelly 浏览:19 回复:0

Apache Flink fault tolerance源码剖析完结篇

。这两个接口的行为是类似的。当然对于数据 组件而言(SourceFunction),要想使得Flink具备完整的失败恢复能力,需要外部数据提供者具备重新消费数据的能力( Apache Kafka提供的message offset机制具备这样的能力 ...
来自: 开发者社区 > 博客 作者: nicenelly 浏览:15 回复:0

Apache Flink fault tolerance源码剖析(四)

命令行客户端。Flink有个独立的client模块flink-clients。触发代码所在的类位于该模块下的CliFrontend:org. apache.flink.client.CliFrontend代码位于方法 ...
来自: 开发者社区 > 博客 作者: nicenelly 浏览:22 回复:0

Apache Flink fault tolerance源码剖析(五)

都维护在package:org. apache.flink.api.common.state其继承关系如图:通过多层的继承,最终的叶子节点是被状态终端直接支持的几种状态类型,它们是:ValueState : 单值状态 ...
来自: 开发者社区 > 博客 作者: nicenelly 浏览:21 回复:0

Apache Spark源码走读(七)Standalone部署方式分析&sql的解析与执行

本文分享在Standalone上部署方式分析以及sql的解析与执行 。<一>Standalone部署方式分析楔子在 Spark 走读系列之2中曾经提到 Spark能以Standalone的方式来运行cluster,但没有 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1723 回复:0

Apache Spark源码走读(二)DStream实时流数据处理 &DStream处理的容错性分析

tikz完成,里面包含的信息很丰富,有志于了解清楚 Spark Streaming内部处理机制的同仁,不妨以此为参考进行详细的代码走读。如果有任何不对或错误之处,欢迎批评指正。参考资料 Spark Streaming 分析 checkpoint ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1042 回复:0

Apache Spark源码走读(十二)Sort-based Shuffle的设计与实现

= org. apache. spark.util.Utils.copyStream(in, out, false) in.close() in = null lengths(i) = size ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:674 回复:0

Apache Spark源码走读(五)部署模式下的容错性分析 &standalone cluster模式下资源的申请与释放

如下所述step 1: 启动master$ SPARK_HOME/sbin/start-master.shstep 2: 启动worker./bin/ spark-class org. apache. spark.deploy.worker ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1223 回复:0

Apache Spark源码走读(六)Task运行期之函数调用关系分析 &存储子系统分析

。TachyonStore&在 Spark的最新 中,Storage子系统引入了TachyonStore. TachyonStore是在内存中实现了hdfs文件系统的接口,主要目的就是尽可能的利用内存来作为数据持久层,避免过多的磁盘读写操作。有关 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1332 回复:0

Apache Spark Delta Lake 事务日志实现源码分析

Apache Spark Delta Lake 事务日志实现 分析我们已经在这篇文章详细介绍了 Apache  Spark Delta Lake 的事务日志是什么、主要用途以及如何工作的。那篇文章已经可以很好地给大家介绍  ...
来自: 开发者社区 > 博客 作者: 明惠 浏览:149 回复:0

Apache Spark源码走读(十)ShuffleMapTask计算结果的保存与读取 &WEB UI和Metrics初始化及数据更新过程分析

spark)进行监控下面从MetricsSystem的创建,数据 的添加,数据更新与发送几个方面来跟踪一下 。初始化过程MetricsSystem依赖于由codahale提供的第三方库Metrics,可以在metrics.codahale.com找到 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1099 回复:0

《Spark与Hadoop大数据分析》一一第3章 深入剖析Apache Spark

###第3章 深入 剖析 Apache Spark Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API:DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:245 回复:0

《Spark与Hadoop大数据分析》——第3章 深入剖析Apache Spark

###深入 剖析 Apache Spark Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API:DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API 之上。我们 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:106 回复:0

Apache Spark技术实战(四)spark-submit常见问题及其解决 &CassandraRDD高并发数据读取实现剖析

.serializer org. apache. spark.serializer.KryoSerializer spark.cores.max 32 spark.shuffle.manager SORT spark.driver.memory 2g ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:2082 回复:0

《深入理解Spark:核心思想与源码分析》——1.4节Spark源码编译与调试

**1.下载 Spark 首先,访问 Spark官网http:// spark. apache.org/,如图1-18所示。 2.构建Scala应用使用cmd命令行进到 Spark根目录,执行sbt命令。会下载和解析很多jar包 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:273 回复:0

spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用)(以spark2.2.0源码包为例)(图文详解)

null前言  & 其实啊,无论你是初学者还是具备了有一定 spark编程经验,都需要对 spark 足够重视起来。  本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合 和操练编程。&&& ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:16 回复:0

spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用)(以spark2.2.0源码包为例)(图文详解)

null前言  & 其实啊,无论你是初学者还是具备了有一定 spark编程经验,都需要对 spark 足够重视起来。  本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合 和操练编程。&&& ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:17 回复:0

深入理解Spark:核心思想与源码分析. 1.4 Spark源码编译与调试

1.4  Spark 编译与调试1.下载 Spark 首先,访问 Spark官网http:// spark. apache.org/,如图1-18所示。&图1-18  Spark官网单击Download Spark按钮,在下一个页面 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:386 回复:0

Bug剖析篇-"Facebook 60TB+级的Apache Spark应用案例"

Facebook 60TB+级的 Apache Spark应用案例 里大体有两方面的PR,一个是Bug Fix,一个是性能优化。这篇文章会对所有提及的Bug Issue进行一次解释和说明。也请期待下一篇。前言Facebook 60TB+级的 Apache ...
来自: 开发者社区 > 博客 作者: 祝威廉 浏览:2164 回复:1

Spark修炼之道(高级篇)——Spark源码阅读:第十二节 Spark SQL 处理流程分析

:// sc is an existing SparkContext.val sqlContext = new org. apache. spark.sql.SQLContext(sc)// this is used to implicitly ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1476 回复:0

Spark修炼之道(高级篇)——Spark源码阅读:第十三节 Spark SQL之SQLContext(一)

val sqlContext = new org. apache. spark.sql.SQLContext(sc)其对应的 为:def 作者:周志湖1. SQLContext的创建SQLContext是 Spark ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1102 回复:0

《GDAL源码剖析与开发指南》一一1.4 GDAL源码下载

本节书摘来自异步社区出版社《GDAL 剖析与开发指南》一书中的第1章,第1.4节,作者:李民录 更多章节内容可以访问云栖社区“异步社区”公众号查看。###1.4 GDAL 下载GDAL 剖析与开发指南GDAL的 ...
来自: 开发者社区 > 博客 作者: 异步社区 浏览:246 回复:0

《GDAL源码剖析与开发指南》一一1.5 GDAL源码目录

本节书摘来自异步社区出版社《GDAL 剖析与开发指南》一书中的第1章,第1.5节,作者:李民录 更多章节内容可以访问云栖社区“异步社区”公众号查看。###1.5 GDAL 目录GDAL 剖析与开发指南下载的 ...
来自: 开发者社区 > 博客 作者: 异步社区 浏览:308 回复:0

Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程

;)exec "$"从上述代码中,可以看到,通过org. apache. spark.launcher.Main类启动org. apache. spark.deploy.SparkSubmit的执行,SparkSubmit部分 如下 ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:4536 回复:1

Spark修炼之道(高级篇)——Spark源码阅读:第三节 Spark Job的提交

前一我们分析了SparkContext的创建,这一节,我们介绍在RDD执行的时候,如何提交job进行分析,同样是下面的 :import org. apache. spark.object SparkWordCount ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1806 回复:0

《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验

**本节书摘来自华章社区《深入理解 Spark:核心思想与 分析》一书中的第1章,第1.2节 Spark初体验,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看****1.2  Spark初体验**本节通过 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:174 回复:0

Spark源码分析之Spark Shell(上)

终于开始看 Spark 了,先从最常用的 spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的。另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找 入口。终于开始看 ...
来自: 开发者社区 > 博客 作者: 1460776336374282 浏览:67 回复:0

Spark修炼之道(高级篇)——Spark源码阅读:第二节 SparkContext的创建

Spark应用程序的执行流程。 本文及后面的 分析都以下列代码为样板import org. apache. spark.{SparkConf, S 博文推荐:http://blog.csdn.net/anzhsoft/article ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:2198 回复:0

《Spark Cookbook 中文版》一1.3 通过Maven构建Spark源码

/ hduser/.bashrc``` 2.打开一个新的终端窗口并通过GitHub下载 。 ```javascript$ wget https://github.com/ apache/ spark/archive/branch ...
来自: 开发者社区 > 博客 作者: 异步社区 浏览:305 回复:0

《深入理解Spark:核心思想与源码分析》——2.2节Spark基础知识

**本节书摘来自华章社区《深入理解 Spark:核心思想与 分析》一书中的第2章,第2.2节 Spark基础知识,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看****2.2  Spark基础知识**1 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:252 回复:0

《深入理解Spark:核心思想与源码分析》——2.3节Spark基本设计思想

**本节书摘来自华章社区《深入理解 Spark:核心思想与 分析》一书中的第2章,第2.3节 Spark基本设计思想,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看****2.3  Spark基本设计思想 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:322 回复:0

《深入理解<em>Spark</em>:核心思想与<em>源码</em>分析》——1.2节<em>Spark</em>...

FWDIR"/bin/spark-submit-class org.<em>apache</em>.<em>spark</em>.repl.Main"${SUBMISSION_OPTS[@]}"spark-shell"${APPLICATION_OPTS[@]} sttyicanon echo&g...

深入理解<em>Spark</em>:核心思想与<em>源码</em>分析.1.2 <em>Spark</em>初体验

org.<em>apache</em>.<em>spark</em>.repl.SparkJLineReader.readLine(SparkJLineReader.scala:25) at org.<em>apache</em>.<em>spark</em>.repl.SparkILoop.re...

《<em>Spark</em>大数据处理:技术、应用与性能优化》——导读

<em>Spark</em>当下已成为<em>Apache</em>基金会的顶级开源项目,拥有庞大的社区支持,技术也逐渐走向成熟。为什么要写这本书 大数据还在如火如荼地发展着,突然之间,<em>Spark</em>就火了。还记得最开始接触<em>Spark</em>技术时资料匮乏,只有官方文档...

《循序渐进学<em>Spark</em>》一导读

首先应该感谢<em>Apache</em> <em>Spark</em>的开源贡献者们,Spark是当今大数据领域伟大的开源项目之一,没有这一开源项目,便没有本书。本书以小象学院git项目方式管理。感谢姜冰钰、陈超、冼茂源等每一位内容贡献者,感谢他们花费...

深入理解<em>Spark</em>:核心思想与<em>源码</em>分析

为了降低读者阅读理解<em>Spark源码</em>的门槛,本书尽可能保留源码实现,希望读者能够怀着一颗好奇的心,Spark当前很火热,其版本更新也很快,本书以Spark 1.2.3版本为主,有兴趣的读者也可按照本书的方式,阅读Spark的最新...

<em>Apache</em> <em>Spark</em>技术实战(四)spark-submit常见问题及其...

spark.serializer org.<em>apache</em>.<em>spark</em>.serializer.KryoSerializer spark.cores.max 32 spark.shuffle.manager SORT spark.driver.memory 2g 上...

<em>Apache</em> <em>Spark源码</em>走读(八)Graphx实现<em>剖析</em>&spark ...

Graphx实现<em>剖析</em> 概要 图的并行化处理一直是一个非常热门的话题,这里头的重点有两个,一是如何将图的算法并行化,二是找到一个合适的并行化处理框架。<em>Spark</em>作为一个非常优秀的并行处理框架,将一些并行化的算法移到...

想了解大数据的鼻祖Hadoop技术栈,这里有一份优质书单...

本书基于Hadoop 2.7.1版本进行分析,全面描述了HDFS 2.X的核心技术与解决方案,书中描述了HDFS内存存储、异构存储等几大核心设计,包括<em>源码</em>细节层面的分析,对于HDFS中比较特殊的几个场景过程也做了细粒度的分析。...

《RocketMQ技术内幕:RocketMQ架构设计与实现原理》一...

在高并发、高可用、高可扩展性、高可维护性等领域有丰富经验,对Hadoop、<em>Spark源码</em>进行过深度分析并具有丰富的实战经验。曾在ERP、医学、互联网行业担任资深工程师、资深架构师、技术总监等职务,炼数成金高级讲师及...

Flink 面试指南|终于要跟大家见面了,我有点紧张。...

3.阐述 Flink 提供的容错机制,解释分布式快照 Chandy Lamport 算法逻辑,<em>剖析</em> Flink Checkpoint 具体实现流程?4.如何处理 Flink 作业频繁重启问题?5.如何优化大状态的 Flink 作业?6.如何排查 Flink Checkpoint ...
< 1 2 3 4 ... 1589 >
共有1589页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折