文件存储CPFS

文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统,针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和高聚合IO、高IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探,气象分析,机器学习,大数据分析以及影视渲染等业务场景中。

产品售卖

公共云CPFS(100MB/s/TiB)
基于全SSD存储介质的并行文件存储系统,提供初级性能套餐规格
性能规格:
  • 带宽:100MB/s每TB,吞吐随容量线性扩展
  • IOPS:15000每TB,IOPS随容量线性扩展
使用场景:
  • AI训练
  • 影视渲染
  • 自动驾驶
  • EDA仿真
¥0.75元 / 月GB
立即购买
公共云CPFS(200MB/s/TiB)
基基于全SSD存储介质的并行文件存储系统,提供中级性能套餐规格
性能规格:
  • 带宽:200MB/s每TB,吞吐随容量线性扩展
  • IOPS:30000每TB,IOPS随容量线性扩展
使用场景:
  • AI训练
  • EDA仿真
  • 基因测序
  • 影视渲染
¥1.26元 / 月GB
立即购买
混合云CPFS存储
针对客户On-Premise部署的需求,基于定制硬件的高性能分布式存储系统
高性能,易扩展,高可靠:
  • 单机6.4TB高速缓存,分布式闪存加速元数据处理,文件分片分散存储在多个存储服务器上,同一文件允许多节点并发访问
  • 单集群最大支持2.5TB/s吞吐
  • 数据冗余:支持2/3副本、纠删码(4+2p, 4+3p, 8+2p, 8+3p)
使用场景:
  • HPC高性能计算
  • 基因科学
  • 自动驾驶
  • 影视渲染

使用流程

1

创建文件系统

根据业务需求创建适合的CPFS文件存储规格

2

安装客户端

安装CPFS定制客户端

3

挂载文件系统

挂载CPFS文件存储到计算集群

4

下发业务IO

计算集群下发业务读写IO

CPFS服务优势
完全托管
云中完全托管的服务,可以轻松创建和运行高性能文件系统。不再需要考虑安装和配置软件,以及复杂的性能调优工作,只需几分钟就能立刻开始使用高性能的文件存储,开始你的业务
超高吞吐和IOPS
文件存储CPFS采用分布式的并行架构,数据条带化后均匀分布在存储集群上,可以实现计算节点并行访问,提供数十GB的吞吐和几十万级的IOPS以及毫秒级时延
弹性可扩展
支持在线的扩容,由于所有数据均以条带化的方式存储并且支持扩容以后的自动负载平衡,可满足性能的线性增长并且即时利用扩容节点的吞吐和存储能力,满足业务增长需要的更多容量与性能的诉求
高可用
所有节点均为高可用设计。实现集群内秒级别的故障检测,并由CPFS集群调度器自动将服务切换到其他节点,同时兼顾负载均衡。整个切换过程用户不感知,提供远高于传统两节点HA的高可用性。
安全可靠
数据持久化存储于阿里云自研的盘古分布式存储系统,支持多份数据拷贝,可以提供11个9的数据可靠性,并完美通过了阿里双十一超高压力的考验。

精心打造的功能

兼容POSIX/MPI

文件存储CPFS的兼容标准POSIX/MPI,因此您可以使用当前基于 Linux 的应用程序,无需进行任何更改。需要MPI支持的高性能计算软件,也可以直接访问数据。

高吞吐,低延时

依靠并行架构,用户I/O在客户端和存储节点间完全并行访问,通过集群聚合,吞吐可以线性增加,同时保持亚毫米级的时延

并发访问优化

统一命名空间,支持成千上百机器同时并发访问,针对数据处理进行了优化。即使是大量的小文件,访问性能也可以提高10倍以上

文件管理功能

支持目录级别的ACL访问控制

计算生态整合

作为阿里云中高性能计算存储服务,与E-HPC,BatchCompute,容器等计算平台整合,支持集群直接挂载CPFS文件系统。用户CPFS中的数据可以借助阿里云丰富的计算生态进行快速分析。

场景介绍

自动驾驶模型训练

为自动驾驶场景中车载摄像头、雷达、红外等设备采集的大量的小文件,文件存储CPFS提供低延时,高IOPS的访问能力,同时与机器学习/深度学习平台无缝整合,模型训练速度可以提高3倍以上。

基因组测序数据组装

基因序列组装需要海量的并发计算作业,文件存储CPFS提供高达百GB的访问带宽,可以满足成百上千个节点同时访问的需求,破除文件IO访问瓶颈,任务完成时间缩短到原来的50%。

石油勘探业务分析

大量地质数据需要计算、处理和分析,并且原始地震资料和过程数据需要长期保存。文件存储CPFS提供PB级单一命名空间,支持空间配额灵活管理,资源划分给不同的计算任务,满足业务随时扩展的需要。

产品动态

  • 查看详情
  • 查看详情
    查看全部日志>
    产品发布信息详情