《大型分布式系统案例实战》浓缩导师10年经验,解密年薪40万+的架构师修炼记!

的作者也悄悄的开发了第二代产品nanomsg,开始把消息系统扩展到RPC领域,分布式情况下,系统的配置文件问题如何解决?Zookeeper为什么会几乎出现在每个新诞生的分布式系统中,它又有什么魅力?NoSQL俨然成为很多系统中必备的组件,开源项目中大家用的 ...
来自: 开发者社区 > 论坛 作者: 黑加仑2012 浏览:262 回复:0

Hadoop分布式文件系统-架构和设计要点

    Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop ...
来自: 开发者社区 > 论坛 作者: 烦了厅脸 浏览:178 回复:0

从hadoop HDFS看分布式文件系统的设计需求

分布式文件系统的设计需求大概是这么几个:透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现,可以更清楚地看出HDFS的应用场景和设计理念。     首先是透明性,如果按照开放分布式处理的标准 ...
来自: 开发者社区 > 论坛 作者: 心有灵犀 浏览:241 回复:0

好程序员大数据学习路线分享分布式文件系统HDFS

好程序员大数据学习路线分享分布式文件系统HDFS,设计目标: 1、存储量大 2、自动快速检测应对硬件错误 3、流式访问数据 4、移动计算比移动数据本身更划算 5、简单一致性模型 6、异构平台可移植 特点 优点: 高可靠性:Hadoop按位存储和处理数据 ...
来自: 开发者社区 > 博客 作者: 1418553068710808 浏览:42 回复:0

对象存储和新型分布式文件系统 - 填补Hadoop存储的空白

空白? 背景 Hadoop分布式文件系统(HDFS)从Hadoop出现到现在已有了10多个年头。HDFS的出现和成熟为企业提供了廉价的海量数据存储方案,大数据存储不再是“王谢堂前燕”,而真正地“飞入”了各个公司 ...
来自: 开发者社区 > 博客 作者: 雷飙 浏览:96 回复:0

可扩展Web架构与分布式系统

开放源代码已经成为一些大型网站的基本原则。而在这些网站成长的过程中,一些优秀的实践经验和规则也出现在他们的结构中。本文旨在介绍一些在大型网站结构设计的过程中需要注意的关键问题以及实现目标的基础工作。 本文侧重于介绍网络系统,尽管一些准则在其他分布式系统中 ...
来自: 开发者社区 > 论坛 作者: 九月的向日葵 浏览:290 回复:0

存储系统科普——如何设计分布式存储系统解决方案

,那么接下来我们就来看看典型分布式系统对这些问题是怎么解决的吧。 数据分布(sharding) 数据分布有两个问题: 数据拆分问题。将一个大的文件/表格数据拆分成多份存储; 数据落地问题。针对每份结果在所有机器中寻找一台机器来作为其存储服务器; 数据拆分问题 ...
来自: 开发者社区 > 论坛 作者: duoduoyunfan 浏览:211 回复:2

分布式文件系统选型

整个解决方案的成本太高。而分布式存储可以通过软件技术整合利用众多低廉的存储设备,来支撑海量的存储,最大的问题在于研发门槛和成本高。 原型选择 针对目前的文件系统业务场景虚拟机存储。多部分都是小文件存储,将来扩展也是往数据库、日志存储。符合这样的基础场景可以 ...
来自: 开发者社区 > 论坛 作者: 荷兰物流 浏览:295 回复:0

facebook海量图片存储系统与淘宝TFS系统比较

和技术突破,不过并非本文焦点,这里主要针对第四层Storage(淘宝的分布式文件系统TFS),对比Haystack,看其是否也解决了long tail问题。下面是TFS的架构概览: 从粗粒度的宏观视角来看,TFS与Haystack的最大区别就是: TFS只 ...
来自: 开发者社区 > 论坛 作者: 安静的小维维 浏览:386 回复:0

分布式计算开源框架Hadoop入门实践(一)

一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层 ...
来自: 开发者社区 > 论坛 作者: samsung_fll 浏览:206 回复:0

Hadoop分布式文件系统和OpenStack对象存储的区别

有关Hadoop分布式文件系统和OpenStack对象存储的不同,有些人经常会想到这个问题。 问题原文如下: “HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着 ...
来自: 开发者社区 > 论坛 作者: 牌友 浏览:167 回复:0

Hadoop分布式文件系统:架构和设计要点

       HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器,负责管理文件系统的namespace和客户端对文件 ...
来自: 开发者社区 > 论坛 作者: 硕思家 浏览:137 回复:0

HDFS 联邦,Hadoop的新一代分布式文件系统

之上。新的应用可以直接的建立在块存储层上而不需要使用文件系统接口。新的块池分类也成为了可能,区别于默认的块池。例如,包含一个块池的MapReduce tmp 文件存储使用不同的垃圾回收机制,块池缓存的数据比分布式的缓存更有效。 设计简单 我们考虑了分布式 ...
来自: 开发者社区 > 论坛 作者: SHAYUN 浏览:125 回复:1

分布式系统设计新手入门---2,微服务架构中拆分的实践

分布式系统设计新手入门---2,微服务架构中拆分的实践引言在这篇文章中将从分析一个开源项目的可分布性入手,介绍如何使用AP&RP技术。这是一个关于分布式系统设计新手入门的系列文章中的第二篇。您可以点击下面链接找到第一篇文章。 分布式系统设计新手 ...
来自: 开发者社区 > 博客 作者: 1763629017427328 浏览:48 回复:0

文件I/O看Linux的虚拟文件系统

简介: Linux 允许众多不同的文件系统共存,并支持跨文件系统文件操作,这是因为有虚拟文件系统的存在。虚拟文件系统,即VFS(Virtual File System)是 Linux 内核中的一个软件抽象层。它通过一些数据结构及其方法向实际的 ...
来自: 开发者社区 > 论坛 作者: plxuxu 浏览:280 回复:0

分布式网站架构:zookeeper技术浅析

一致性要困难的多。Zookeeper提供了一个锁服务解决了这样的问题,能让我们在做分布式数据运算时候,保证数据操作的一致性。   场景三:配置管理。在分布式系统里,我们会把一个服务应用分别部署到n台服务器上,这些服务器的配置文件是相同的(例如:我设计的 ...
来自: 开发者社区 > 论坛 作者: 小叮当 浏览:249 回复:8

FastDFS - 开源的分布式文件系统

FastDFS 是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等FastDFS 是一个开源的分布式文件 ...
来自: 开发者社区 > 博客 作者: verdalee 浏览:16 回复:0

《大型电商分布式系统实践》新课上线!构建低成本、高可用、高可扩展系统不再是梦想

;jmap&jinfo&jstack --mat --VisualVM --java应用典型问题 第十三课 数据分析对于大型分布式网站的意义 分布式文件系统 离线数据分析,mapreduce、hive 实时数据分析,storm 离线数据同步 ...
来自: 开发者社区 > 论坛 作者: 茹小兔是焦啊 浏览:282 回复:2

Hadoop分布式文件系统:架构的特点和设计要点

Datanode     HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服 务器,负责管理文件系统的namespace和客户端对文件的访问 ...
来自: 开发者社区 > 论坛 作者: 慈康 浏览:194 回复:0

分布式文件系统HDFS中Block的好处

,整个集群可以只存储一个文件,该文件的块占满整个集群的硬盘空间。   二、使用抽象块而非整个文件作为存储单元,大大简化了系统的设计。   简化设计,对于故障种类繁多的分布式系统来说尤为重要。以块为单位,一方面简化存储管理,因为块大小是固定的,所以一个硬盘放 ...
来自: 开发者社区 > 论坛 作者: 原来爱情那么难 浏览:274 回复:0
< 1 2 3 4 5 7 >
共有3299页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>