文件存储NAS-分布式文件系统-满足高吞吐低时延的存储性能-阿里云

阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。它基于 POSIX 文件接口,天然适配原生操作系统,提供共享访问,同时保证数据一致性和锁互斥。文件存储NAS中的数据自动地在可用区内以多副本冗余方式存储,避免数据的单点故障 ... 查看帮助文档>
来自: 云产品

看两种截然不同的设计理念:分布式文件系统支持大和小文件的思考

        为何Google GFS设计成对大文件友好,而像腾讯的TFS(Tencent File System)和淘宝的TFS(Taobao File System)却设计成对小文件友好了?   ...
来自: 开发者社区 > 论坛 作者: 国林地板1 浏览:289 回复:0

Hadoop分布式文件系统-架构和设计要点

    Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop ...
来自: 开发者社区 > 论坛 作者: 烦了厅脸 浏览:178 回复:0

从hadoop HDFS看分布式文件系统的设计需求

分布式文件系统的设计需求大概是这么几个:透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现,可以更清楚地看出HDFS的应用场景和设计理念。     首先是透明性,如果按照开放分布式处理的标准 ...
来自: 开发者社区 > 论坛 作者: 心有灵犀 浏览:241 回复:0

分布式文件系统选型

整个解决方案的成本太高。而分布式存储可以通过软件技术整合利用众多低廉的存储设备,来支撑海量的存储,最大的问题在于研发门槛和成本高。 原型选择 针对目前的文件系统业务场景虚拟机存储。多部分都是小文件存储,将来扩展也是往数据库、日志存储。符合这样的基础场景可以 ...
来自: 开发者社区 > 论坛 作者: 荷兰物流 浏览:295 回复:0

Hadoop分布式文件系统和OpenStack对象存储的区别

有关Hadoop分布式文件系统和OpenStack对象存储的不同,有些人经常会想到这个问题。 问题原文如下: “HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着 ...
来自: 开发者社区 > 论坛 作者: 牌友 浏览:167 回复:0

Hadoop分布式文件系统:架构和设计要点

       HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器,负责管理文件系统的namespace和客户端对文件 ...
来自: 开发者社区 > 论坛 作者: 硕思家 浏览:137 回复:0

HDFS 联邦,Hadoop的新一代分布式文件系统

之上。新的应用可以直接的建立在块存储层上而不需要使用文件系统接口。新的块池分类也成为了可能,区别于默认的块池。例如,包含一个块池的MapReduce tmp 文件存储使用不同的垃圾回收机制,块池缓存的数据比分布式的缓存更有效。 设计简单 我们考虑了分布式 ...
来自: 开发者社区 > 论坛 作者: SHAYUN 浏览:125 回复:1

请问 Hadoop集群中如何使用两种分布式文件系统

  现在我的分布式文件系统有hdfs 和其他的分布式文件系统  如何在一个集群中使用两种分布式文件系统? 跪求!! ...
来自: 开发者社区 > 论坛 作者: 艾翡翠 浏览:198 回复:4

在CentOS6 64上用构建HDFS分布式文件系统【hadoop2.7】

在CentOS6X64上用构建HDFS分布式文件系统.png (216.76 KB, 下载次数: 1) 下载附件  保存到相册 2016-2-23 17:53 上传 链接:http://pan.baidu.com/s/1pLizykF 密码: 游客,如果您要查看本帖隐藏内容请回复 游客,如果您要查看本帖隐藏内容请回复 ...
来自: 开发者社区 > 论坛 作者: 任涛欧巴欧 浏览:166 回复:9

HDFS必读书籍:HDFS-Hadoop分布式文件系统深度实践

详细系统介绍了HDFS,是一个不错的书籍 1.png (85.47 KB, 下载次数: 53) 下载附件  保存到相册 2014-4-20 20:52 上传 2.png (70.37 KB, 下载次数: 32) 下载附件  保存到相册 ...
来自: 开发者社区 > 论坛 作者: popomickey 浏览:177 回复:9

好程序员大数据学习路线分享分布式文件系统HDFS

好程序员大数据学习路线分享分布式文件系统HDFS,设计目标: 1、存储量大 2、自动快速检测应对硬件错误 3、流式访问数据 4、移动计算比移动数据本身更划算 5、简单一致性模型 6、异构平台可移植 特点 优点: 高可靠性:Hadoop按位存储和处理数据 ...
来自: 开发者社区 > 博客 作者: 1418553068710808 浏览:42 回复:0

对象存储和新型分布式文件系统 - 填补Hadoop存储的空白

空白? 背景 Hadoop分布式文件系统(HDFS)从Hadoop出现到现在已有了10多个年头。HDFS的出现和成熟为企业提供了廉价的海量数据存储方案,大数据存储不再是“王谢堂前燕”,而真正地“飞入”了各个公司 ...
来自: 开发者社区 > 博客 作者: 雷飙 浏览:96 回复:0

FastDFS - 开源的分布式文件系统

FastDFS 是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等FastDFS 是一个开源的分布式文件 ...
来自: 开发者社区 > 博客 作者: verdalee 浏览:16 回复:0

淘宝分布式文件系统TFS介绍

TFS与目前一些主流的开源分布式文件系统设计思想是相似的,如HDFS, MFS, KFS, Sector。TFS的高可扩展、高可用性是很好的,本文带你了解淘宝分布式文件系统TFS的内部实现过程,对于 TFS读取文件的过程是什么? ...
来自: 开发者社区 > 论坛 作者: yzh0300 浏览:237 回复:1

Hadoop分布式文件系统:架构的特点和设计要点

Datanode     HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服 务器,负责管理文件系统的namespace和客户端对文件的访问 ...
来自: 开发者社区 > 论坛 作者: 慈康 浏览:194 回复:0

分布式文件系统HDFS中Block的好处

,整个集群可以只存储一个文件,该文件的块占满整个集群的硬盘空间。   二、使用抽象块而非整个文件作为存储单元,大大简化了系统的设计。   简化设计,对于故障种类繁多的分布式系统来说尤为重要。以块为单位,一方面简化存储管理,因为块大小是固定的,所以一个硬盘放 ...
来自: 开发者社区 > 论坛 作者: 原来爱情那么难 浏览:274 回复:0

HDFS 联邦,Hadoop的新一代分布式文件系统

。新的应用可以直接的建立在块存储层上而不需要使用文件系统接口。新的块池分类也成为了可能,区别于默认的块池。例如,包含一个块池的MapReduce tmp 文件存储使用不同的垃圾回收机制,块池缓存的数据比分布式的缓存更有效。 设计简单 我们考虑了分布式 ...
来自: 开发者社区 > 论坛 作者: 蓝天伴吉祥 浏览:134 回复:0

阿里云-分布式文件系统技术专家

发布时间: 2017-07-10 工作地点: 北京市 工作年限: 三年以上 所属部门: 阿里云事业群 学   历: 本科 招聘人数: 3 岗位描述: 1. 负责分布式文件系统解决方案,设计架构和关键特性 2. 负责分布式文件系统数据 ...
来自: 开发者社区 > 论坛 作者: 火蓝云 浏览:765 回复:0

关于分布式文件系统抽象块好处的疑问

重读《hadoop权威指南》,一直对书中提到的分布式文件系统抽象块的好处有疑问。 书中提到三个好处:1、一个文件的大小可以大于网络中任意一个磁盘的容量,文件的所有块并不需要存储在一个磁盘上,因此可以利用集群上任意一个磁盘进行存储。2、简化了存储子系统的 ...
来自: 开发者社区 > 论坛 作者: 飞过沧海 浏览:227 回复:10
< 1 2 3 4 5 7 >
共有4757页 跳转至:GO