文章 2017-03-08 来自:开发者社区

探秘Hadoop生态12:分布式日志收集系统Flume

这位大侠,这是我的公众号:程序员江湖。 分享程序员面试与技术的那些事。 干货满满,关注就送。  在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程:  从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用...

探秘Hadoop生态12:分布式日志收集系统Flume
文章 2017-02-12 来自:开发者社区

【Spark Summit EU 2016】沃森媒体分析系统:从单租户Hadoop到3000租户Spark的架构演进

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 本讲义出自Ruben Pulido和Behar Veliqi在Spark Summit EU 2016上的演讲,主要介绍了IBM公司的沃森媒体分析系.....

文章 2016-11-26 来自:开发者社区

Hadoop生态系统常用组件导图

Hadoop生态系统主要组件导图: 看大图

文章 2016-09-24 来自:开发者社区

《hadoop进阶》基于hadoop和hive的微博热词跟踪系统

打开微信扫一扫,关注微信公众号【数据与算法联盟】 转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thinkgamer 代码下载地址:点击查看 ---------------------------------------------...

文章 2016-07-28 来自:开发者社区

电商平台实战经验:电商中的Hadoop生态系统应用

技术交流和面试其实有些共通性,比如经常会有类似问题: 如何做到高可用的? 访问峰值达到什么量级? 系统如何撑住的? 高并发下数据一致性如何保证? 如何进行性能优化? 使用了什么新技术? 等等。 实际上如果大家对高可用、高并发、高性能的系统设计有兴趣,从这方面有很多部分可以谈:从硬件到软件、从程序到SQL、 从分布式缓存到CDN,从中间件优化到JVM调优,直到最后我们发现,高可用、高并发、高性能.....

电商平台实战经验:电商中的Hadoop生态系统应用
文章 2016-07-18 来自:开发者社区

单点搭建HADOOP系统

单点搭建HADOOP系统 安装JDK 1.下载jdk1.6.0_20;(下载文件为jdk-6u20-linux-i586.bin); 2.进入到jdk文件所在目录,由于运行bin文件是需要权限的,所以运行如下命令:chmod u+x jdk-6u20-linux-i586.bin,使得当前用户有权限执行该文件; 3.在jdk文件所在目录下执行:sudo ./jdk-6u20-linux-...

问答 2016-05-31 来自:开发者社区

用Hadoop构建电影推荐系统,如何成功将这些代码成功打包

网址:http://blog.fens.me/hadoop-mapreduce-recommend/。看到这篇文章,很高兴,终于可以hadoop实践了,但是里面的“import org.conan.myhadoop.hdfs.HdfsDAO;”没看懂。想将这些代码达成jar包放到hadoop中运行,希望大家能够帮忙调试。

问答 2016-05-20 来自:开发者社区

运行hadoop 程序,hadoop相关的jar包在创建作业的时候需要指定么。还是系统运行时默认会找到某个目录,已经在框架里面了

在使用emapreduce时,运行hadoop 程序,hadoop相关的jar包在创建作业的时候需要指定么。还是系统运行时默认会找到某个目录,已经在框架里面了

文章 2016-05-04 来自:开发者社区

基础篇:Hadoop组件与生态系统介绍

从2014年开始,大数据逐渐发展壮大起来。越来越多的公司开始使用大数据,包括日常事务管理及复杂业务方案探究。大数据已经很快地从一个被夸大的词汇转变成了一个可行的技术,无论业务规模是大还是小。 大数据,简单来说就是存在于我们身边的大量数据,如智能终端、网络应用、社交媒体、聊天室、移动App、通讯记录、支付历史以及各种其他方式涉及到的数据。大数据技术对大量的信息进行整合、存储以及分析,数据量一般在P....

文章 2016-04-19 来自:开发者社区

基于Hadoop开发网络云盘系统客户端界面设计初稿

前言:   本文是《基于Hadoop开发网络云盘系统架构设计方案》的第二篇,针对界面原型原本考虑有两个方案:1、类windows模式,文件夹、文件方式,操作习惯完全按照Windows方式进行,提供右键菜单管理命令。2.浏览列表式,提供常规界面按钮式命令。本文采用的方式是文件清单列表式,至于第一种方式,另列专题进行说明。 一、界面原型 二、设计说明   连接管理:建立连接、断开连接、设置连接参数.....

基于Hadoop开发网络云盘系统客户端界面设计初稿

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注