文件存储NAS-分布式文件系统-满足高吞吐低时延的存储性能-阿里云

阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。它基于 POSIX 文件接口,天然适配原生操作系统,提供共享访问,同时保证数据一致性和锁互斥。文件存储NAS中的数据自动地在可用区内以多副本冗余方式存储,避免数据的单点故障 ... 查看帮助文档>
来自: 云产品

看两种截然不同的设计理念:分布式文件系统支持大和小文件的思考

        为何Google GFS设计成对大文件友好,而像腾讯的TFS(Tencent File System)和淘宝的TFS(Taobao File System)却设计成对小文件友好了?   ...
来自: 云栖社区 > 论坛 作者: 国林地板1 浏览:289 回复:0

Hadoop分布式文件系统-架构和设计要点

    Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop ...
来自: 云栖社区 > 论坛 作者: 烦了厅脸 浏览:178 回复:0

从hadoop HDFS看分布式文件系统的设计需求

分布式文件系统的设计需求大概是这么几个:透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现,可以更清楚地看出HDFS的应用场景和设计理念。     首先是透明性,如果按照开放分布式处理的标准 ...
来自: 云栖社区 > 论坛 作者: 心有灵犀 浏览:241 回复:0

分布式文件系统选型

整个解决方案的成本太高。而分布式存储可以通过软件技术整合利用众多低廉的存储设备,来支撑海量的存储,最大的问题在于研发门槛和成本高。 原型选择 针对目前的文件系统业务场景虚拟机存储。多部分都是小文件存储,将来扩展也是往数据库、日志存储。符合这样的基础场景可以 ...
来自: 云栖社区 > 论坛 作者: 荷兰物流 浏览:295 回复:0

Hadoop分布式文件系统和OpenStack对象存储的区别

有关Hadoop分布式文件系统和OpenStack对象存储的不同,有些人经常会想到这个问题。 问题原文如下: “HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着 ...
来自: 云栖社区 > 论坛 作者: 牌友 浏览:167 回复:0

Hadoop分布式文件系统:架构和设计要点

       HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器,负责管理文件系统的namespace和客户端对文件 ...
来自: 云栖社区 > 论坛 作者: 硕思家 浏览:137 回复:0

HDFS 联邦,Hadoop的新一代分布式文件系统

之上。新的应用可以直接的建立在块存储层上而不需要使用文件系统接口。新的块池分类也成为了可能,区别于默认的块池。例如,包含一个块池的MapReduce tmp 文件存储使用不同的垃圾回收机制,块池缓存的数据比分布式的缓存更有效。 设计简单 我们考虑了分布式 ...
来自: 云栖社区 > 论坛 作者: SHAYUN 浏览:125 回复:1

请问 Hadoop集群中如何使用两种分布式文件系统

  现在我的分布式文件系统有hdfs 和其他的分布式文件系统  如何在一个集群中使用两种分布式文件系统? 跪求!! ...
来自: 云栖社区 > 论坛 作者: 艾翡翠 浏览:198 回复:4

在CentOS6 64上用构建HDFS分布式文件系统【hadoop2.7】

在CentOS6X64上用构建HDFS分布式文件系统.png (216.76 KB, 下载次数: 1) 下载附件  保存到相册 2016-2-23 17:53 上传 链接:http://pan.baidu.com/s/1pLizykF 密码: 游客,如果您要查看本帖隐藏内容请回复 游客,如果您要查看本帖隐藏内容请回复 ...
来自: 云栖社区 > 论坛 作者: 任涛欧巴欧 浏览:166 回复:9

HDFS必读书籍:HDFS-Hadoop分布式文件系统深度实践

详细系统介绍了HDFS,是一个不错的书籍 1.png (85.47 KB, 下载次数: 53) 下载附件  保存到相册 2014-4-20 20:52 上传 2.png (70.37 KB, 下载次数: 32) 下载附件  保存到相册 ...
来自: 云栖社区 > 论坛 作者: popomickey 浏览:177 回复:9

对象存储和新型分布式文件系统 - 填补Hadoop存储的空白

空白? 背景 Hadoop分布式文件系统(HDFS)从Hadoop出现到现在已有了10多个年头。HDFS的出现和成熟为企业提供了廉价的海量数据存储方案,大数据存储不再是“王谢堂前燕”,而真正地“飞入”了各个公司 ...
来自: 云栖社区 > 博客 作者: 雷飙 浏览:96 回复:0

Hadoop分布式文件系统:架构的特点和设计要点

Datanode     HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服 务器,负责管理文件系统的namespace和客户端对文件的访问 ...
来自: 云栖社区 > 论坛 作者: 慈康 浏览:194 回复:0

分布式文件系统HDFS中Block的好处

,整个集群可以只存储一个文件,该文件的块占满整个集群的硬盘空间。   二、使用抽象块而非整个文件作为存储单元,大大简化了系统的设计。   简化设计,对于故障种类繁多的分布式系统来说尤为重要。以块为单位,一方面简化存储管理,因为块大小是固定的,所以一个硬盘放 ...
来自: 云栖社区 > 论坛 作者: 原来爱情那么难 浏览:274 回复:0

HDFS 联邦,Hadoop的新一代分布式文件系统

。新的应用可以直接的建立在块存储层上而不需要使用文件系统接口。新的块池分类也成为了可能,区别于默认的块池。例如,包含一个块池的MapReduce tmp 文件存储使用不同的垃圾回收机制,块池缓存的数据比分布式的缓存更有效。 设计简单 我们考虑了分布式 ...
来自: 云栖社区 > 论坛 作者: 蓝天伴吉祥 浏览:134 回复:0

阿里云-分布式文件系统技术专家

发布时间: 2017-07-10 工作地点: 北京市 工作年限: 三年以上 所属部门: 阿里云事业群 学   历: 本科 招聘人数: 3 岗位描述: 1. 负责分布式文件系统解决方案,设计架构和关键特性 2. 负责分布式文件系统数据 ...
来自: 云栖社区 > 论坛 作者: 火蓝云 浏览:765 回复:0

Hadoop 分布式文件系统 HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统,特点如下: 它是一个高度容错性的系统,适合部署在廉价的机器上; HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用; HDFS放宽了一部分POSIX约束 ...
来自: 云栖社区 > 大学 作者: 尚硅谷教育

开源分布式文件系统

分布式文件系统.png (65.44 KB, 下载次数: 0) 下载附件  保存到相册 2016-3-16 18:38 上传 http://url.cn/40tWaPs 链接:http://pan.baidu.com/s/1i5ugSAD 密码:4xy3 ...
来自: 云栖社区 > 论坛 作者: 烦热劲儿 浏览:167 回复:9

Hadoop分布式文件系统的模型分析

Hadoop分布式文件系统的模型分析.png (267.85 KB, 下载次数: 0) 下载附件  保存到相册 2016-4-21 22:51 上传 http://url.cn/411vdfT 链接:http://pan.baidu.com/s/1o8JFuiQ 密码:owec ...
来自: 云栖社区 > 论坛 作者: 出席过绮丽 浏览:87 回复:9

好程序员大数据学习路线分享分布式文件系统HDFS

好程序员大数据学习路线分享分布式文件系统HDFS,设计目标: 1、存储量大 2、自动快速检测应对硬件错误 3、流式访问数据 4、移动计算比移动数据本身更划算 5、简单一致性模型 6、异构平台可移植 特点 优点: 高可靠性:Hadoop按位存储和处理数据 ...
来自: 云栖社区 > 博客 作者: 1418553068710808 浏览:42 回复:0
< 1 2 3 4 5 7 >
共有4687页 跳转至:GO