文章 2022-02-15 来自:开发者社区

Ceph分布式存储实战导读

前言 随着信息化浪潮的到来,全球各行各业逐步借助信息技术深入发展。据悉,企业及互联网数据以每年50%的速率在增长。据权威调查机构Gartner预测,到2020年,全球数据量将达到35ZB,相当于80亿块4TB硬盘,数据结构的变化给存储系统带来了全新的挑战。那么有什么方法能够存储这些数据呢?我认为Ceph是解决未来十年数据存储需求的一个可行方案。Ceph是存储的未来!SDS是存储的未来! 为什么.....

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实战3.4 本章小结

3.4 本章小结 本章主要围绕Ceph的核心——CRUSH展开,讲述了CRUSH的基本原理以及CRUSH的特性。读者可以了解Ceph基本要素的概念,重点应该把握Ceph的Object、PG、Pool等基本核心概念,熟悉读写流程以及CRUSH算法的组成、影响因素及选择流程。基于以上掌握的要点,为后面的深入学习打好坚实的基础。  

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实战3.3 CRUSH关系分析

3.3 CRUSH关系分析 从本质上讲,CRUSH算法是通过存储设备的权重来计算数据对象的分布的。在计算过程中,通过Cluster Map(集群映射)、Data Distribution Policy(数据分布策略)和给出的一个随机数共同决定数据对象的最终位置。 1. Cluster Map Cluster Map记录所有可用的存储资源及相互之间的空间层次结构(集群中有多少个机架、机架上有多少.....

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实战3.2 CRUSH基本原理

3.2 CRUSH基本原理 众所周知,存储设备具有吞吐量限制,它影响读写性能和可扩展性能。所以,存储系统通常都支持条带化以增加存储系统的吞吐量并提升性能,数据条带化最常见的方式是做RAID。与Ceph的条带化最相似的是RAID 0或者是“带区卷”。Ceph条带化提供了类似于RAID 0的吞吐量,N路RAID镜像的可靠性以及更快速的恢复能力。 在磁盘阵列中,数据是以条带(stripe)的方式贯...

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实战3.1 引言

智能分布CRUSH 3.1 引言 数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下3个因素。 1)故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险。 2)负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点,避免部分节点空闲,部分节点超载,从而影响系统性能。 3)控制节点加入离开时引起的数据迁移量。当节点离开时,最优的数据迁移是只有离线节点上的数据被迁移到.....

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实战2.4 本章小结

2.4 本章小结 本章从宏观角度剖析了Ceph架构,将Ceph架构分为基础存储系统RADOS、基于RADOS实现的CEPHFS,基于RADOS的LIBRADOS层应用接口、基于LIBRADOS的应用接口RBD、RADOSGW,其中着重讲解了RADOS的组成部分MON、OSD及其功能,最后解析LIBRADOS API的基本用法。

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实2.3 RADOS与LIBRADOS

2.3 RADOS与LIBRADOS LIBRADOS模块是客户端用来访问RADOS对象存储设备的。Ceph存储集群提供了消息传递层协议,用于客户端与Ceph Monitor与OSD交互,LIBRADOS以库形式为Ceph Client提供了这个功能,LIBRADOS就是操作RADOS对象存储的接口。所有Ceph客户端可以用LIBRADOS或LIBRADOS里封装的相同功能和对象存储交互,LI.....

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实2.2 RADOS架构

2.2 RADOS架构 RADOS系统主要由两个部分组成,如图2-2所示。 1)OSD:由数目可变的大规模OSD(Object Storage Devices)组成的集群,负责存储所有的Objects数据。 2)Monitor:由少量Monitors组成的强耦合、小规模集群,负责管理Cluster Map。其中,Cluster Map是整个RADOS系统的关键数据结构,管理集群中的所有成员、关.....

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实2.1 Ceph功能模块与RADOS

存储基石RADOS 分布式对象存储系统RADOS是Ceph最为关键的技术,它是一个支持海量存储对象的分布式对象存储系统。RADOS层本身就是一个完整的对象存储系统,事实上,所有存储在Ceph系统中的用户数据最终都是由这一层来存储的。而Ceph的高可靠、高可扩展、高性能、高自动化等特性,本质上也是由这一层所提供的。因此,理解RADOS是理解Ceph的基础与关键。 Ceph的设计哲学如下。 每个组件....

文章 2022-02-15 来自:开发者社区

Ceph分布式存储实战1.5 本章小结

1.5 本章小结 本章主要从Ceph的历史背景、发展事件、Ceph的架构组件、功能特性以及Ceph的设计思想方面介绍了Ceph,让大家对Ceph有一个全新的认识,以便后面更深入地了解Ceph。  

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云分布式应用服务

企业级分布式应用服务 EDAS(Enterprise Distributed Application Service)是应用全生命周期管理和监控的一站式PaaS平台,支持部署于 Kubernetes/ECS,无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ,Java支持Spring Cloud、Apache Dubbo近五年所有版本,多语言应用一键开启Service Mesh。

+关注