文章 2022-02-16 来自:开发者社区

Hadoop之父Doug Cutting眼中大数据技术的未来

上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上。今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝。 Doug Cutting成长史 1985年毕业于美国斯坦福大学的Cutting并不是一开始就决心投身IT行业的。在大学时代的头两年,Cutting学习了诸如物理、地理等常规课程。因为学费的压力,Cutting开始意识到,自己.....

文章 2022-02-16 来自:开发者社区

除Hadoop外的9个大数据技术分析盘点

Hadoop是大数据领域最流行的技术,但并非唯一。还有很多其他技术可用于解决大数据问题。除了Apache Hadoop外,另外9个大数据技术也是必须要了解的。 Apache Flink Apache Samza Google Cloud Data Flow StreamSets Tensor Flow Apache NiFi Druid LinkedIn WhereHows Microsoft.....

文章 2022-02-16 来自:开发者社区

从Greenplum、Hadoop到现在的阿里大数据技术

在2016云栖大会·武汉峰会上,阿里云技术专家宋杰分享了他对云计算的三条路径的理解和感悟,并且阐述了云计算对于企业而言到底意味着什么的问题。那么阿里大数据发展之路经历了哪三次技术突围?阿里又是如何通过十余年的技术沉淀最终铸就飞天系统的呢?本文将为你揭晓答案,精彩不容错过。 对于企业来说,但是到底云计算是什么呢?相信很多企业都有这样的困惑,让我们一起回到这个原始的起点探讨究竟什么是云计算?云计算对....

文章 2022-02-16 来自:开发者社区

《深入理解Hadoop(原书第2版)》——1.2大数据技术背后的核心思想

本节书摘来自华章计算机《深入理解Hadoop(原书第2版)》一书中的第1章,第1.2节,作者 [美]萨米尔·瓦德卡(Sameer Wadkar),马杜·西德林埃(Madhu Siddalingaiah),杰森·文纳(Jason Venner),译 于博,冯傲风,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.2大数据技术背后的核心思想 上文中的例子我们作了诸多假设,要表明的核心问题是....

文章 2022-02-15 来自:开发者社区

详解:从Greenplum、Hadoop到现在的阿里大数据技术

对于企业来说,但是到底云计算是什么呢?相信很多企业都有这样的困惑,让我们一起回到这个原始的起点探讨究竟什么是云计算?云计算对于企业而言到底意味什么?云计算的三条发展路径及三种落地形态 当回到最初的起点再审视云计算的发展路径,可以发现,经过十余年的发展演进,云计算有三条发展路径,并且最终沉淀下来了三种落地形态。 第一条路:源自于谷歌对大规模数据的处理,谷歌为全球的互联网用户提供同一个服务——搜索,....

详解:从Greenplum、Hadoop到现在的阿里大数据技术
文章 2022-02-15 来自:开发者社区

基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化

作者:张子良  声明:版权所有,转载请注明出处 一、概述   基于任何平台实现的云盘系统,面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统,受到Hadoop文件读写机制的影响,采用Hadoop提供的API进行HDFS文件系统访问,文件读取时默认是顺序、逐block读取;写入时是顺序写入。 二、读写机制   首先来看文件读取机制:尽管DataNode实现...

基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化
文章 2022-02-15 来自:开发者社区

基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制

作者:张子良 版权所有,转载请注明出处 一、概述     Hadoop开源技术框架在实际业务应用中,其早期的安全机制饱受诟病,具体到HDFS应用方面的问题,主要包括以下几个方面:   1.用户到服务器的认证问题   (1)Namenode上没有用户认证:用户只要知道NameNode服务地址和端口信息,就可以访问HDFS,并获取文件namespace信息。   (2)Datanode上没有认证机制....

文章 2022-02-15 来自:开发者社区

基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化

作者:张子良 版权所有,转载请注明出处。 一、概述 首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中,通常占用150个字节。如果有1千万个文件,就需要消耗大约3G的内存空间。如果是10亿个文....

基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化
问答 2022-02-15 来自:开发者社区

Hadoop生态圈中核心组件都包含哪些技术框架?

Hadoop生态圈中核心组件都包含哪些技术框架?

问答 2022-02-15 来自:开发者社区

Hadoop的两大核心技术是什么?

Hadoop的两大核心技术是什么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注