文章 2017-11-12 来自:开发者社区

源码手动安装Apache以及配置

【只需3步】源码手动安装Apache以及配置(亲测可行) 来源:Linux社区  作者:xiaobo-Linux RedHat Linux 6采用CentOS yum源。 CentOS yum源配置  见  http://www.linuxidc.com/Linux/2015-07/119782.htm 第一步下载Apache依赖的软件包...

源码手动安装Apache以及配置
文章 2017-11-12 来自:开发者社区

Apache 2.4. 源码编译安装详解

1)、下载httpd软件包和解压 1 2 3 cd  /usr/local/src wget http://apache.opencas.org//httpd/httpd-2.4.18.tar.gz tar zxvf httpd-2.4.18.tar.gz 2)、安装前的系统需求: (1)APR and APR-Util  1 2 3 4...

文章 2017-11-03 来自:开发者社区

如何将apache源码打成rpm安装包

如果你对RPM没有什么好印像的话,我相信原因就是它的过复杂的包依赖关系。   但如果自己动手来编绎RPM包的话,这个问题你可以很愉快的进行控制   如果你有一个很好的软件版本控制系统的话,你完全可以把你所有要用的软件包都编绎成RPM, 这样可以提高一些常规软件部署效率,比如apache mysql这样的软件。   本次目标:在新装的一台centos6.4 x86_64...

文章 2017-05-22 来自:开发者社区

Apache Storm 官方文档 —— 源码组织结构

Strom 的代码有三个层次: 第一,Storm 在一开始就是按照兼容多语言的目的来设计的。Nimbus 是一个 Thrift 服务,拓扑也被定义为 Thrift 架构。Thrift 的使用使得 Storm 可以用于任何一种语言。 第二,所有的 Storm 接口都设计为 Java 接口。所以,尽管 Storm 核心代码中有大量的 Clojure 实现,所有的访问都必须经过 Java API。这就....

文章 2017-02-21 来自:开发者社区

Apache Beam WordCount编程实战及源码解读

概述:Apache Beam WordCount编程实战及源码解读,并通过intellij IDEA和terminal两种方式调试运行WordCount程序,Apache Beam对大数据的批处理和流处理,提供一套先进的统一的编程模型,并可以运行大数据处理引擎上。完整项目Github源码 负责公司大数据处理相关架构,但是具有多样性,极大的增加了开发成本,急需统一编程处理,Apache Be...

文章 2016-09-14 来自:开发者社区

Apache Spark源码走读(十二)Sort-based Shuffle的设计与实现

概要 Spark 1.1中对spark core的一个重大改进就是引入了sort-based shuffle处理机制,本文就该处理机制的实现进行初步的分析。 Sort-based Shuffle之初体验 通过一个小的实验来直观的感受一下sort-based shuffle算法会产生哪些中间文件,具体实验步骤如下所述。 步骤1: 修改conf/spark-default.conf, 加入如下内容 ....

文章 2016-09-14 来自:开发者社区

Apache Spark源码走读(十一)浅谈mllib中线性回归的算法实现&Spark MLLib中拟牛顿法L-BFGS的源码实现

<一>浅谈mllib中线性回归的算法实现 概要 本文简要描述线性回归算法在Spark MLLib中的具体实现,涉及线性回归算法本身及线性回归并行处理的理论基础,然后对代码实现部分进行走读。 线性回归模型 机器学习算法是的主要目的是找到最能够对数据做出合理解释的模型,这个模型是假设函数,一步步的推导基本遵循这样的思路 假设函数 为了找到最好的假设函数,需要找到合理的评估标准,一般来说.....

Apache Spark源码走读(十一)浅谈mllib中线性回归的算法实现&Spark MLLib中拟牛顿法L-BFGS的源码实现
文章 2016-09-14 来自:开发者社区

Apache Spark源码走读(十)ShuffleMapTask计算结果的保存与读取 &WEB UI和Metrics初始化及数据更新过程分析

<一>ShuffleMapTask计算结果的保存与读取 概要 ShuffleMapTask的计算结果保存在哪,随后Stage中的task又是如何知道从哪里去读取的呢,这个过程一直让我困惑不已。 用比较通俗一点的说法来解释一下Shuffle数据的写入和读取过程 每一个task负责处理一个特定的data partition task在初始化的时候就已经明确处理结果可能会产生多少个不同...

Apache Spark源码走读(十)ShuffleMapTask计算结果的保存与读取 &WEB UI和Metrics初始化及数据更新过程分析
文章 2016-09-14 来自:开发者社区

Apache Spark源码走读(九)如何进行代码跟读&使用Intellij idea调试Spark源码

<一>如何进行代码跟读 概要 今天不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读。众所周知,Spark使用scala进行开发,由于scala有众多的语法糖,很多时候代码跟着跟着就觉着线索跟丢掉了,另外Spark基于Akka来进行消息交互,那如何知道谁是接收方呢? new Throwable().printStackTrace 代码跟读的时候,经常会借助于日志,针对日志....

Apache Spark源码走读(九)如何进行代码跟读&使用Intellij idea调试Spark源码
文章 2016-09-14 来自:开发者社区

Apache Spark源码走读(七)Standalone部署方式分析&sql的解析与执行

<一>Standalone部署方式分析 楔子 在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster,但没有对Application的提交与具体运行流程做详细的分析,本文就这些问题做一个比较详细的分析,并且对在standalone模式下如何实现HA进行讲解。 没有HA的Standalone运行模式 先从比较简单的说起,所谓的没有ha是指ma....

Apache Spark源码走读(七)Standalone部署方式分析&sql的解析与执行

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像