文件存储CPFS_并行文件存储系统_高性能计算存储_存储-阿里云

文件存储 CPFS
播放视频
文件存储 CPFS (Cloud Parallel File Storage)是阿里云完全托管、可扩展的并行文件存储系统,针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和百万级IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析、机器学习、大数据分析以及影视渲染等业务场景中。

产品优势

高吞吐和超高IOPS
采用分布式并行架构,基于全闪介质提供数十GB吞吐和百万级IOPS
完全托管
无需部署软硬件,轻松创建和运行
高性能计算文件系统
弹性可扩展
支持在线扩容,可快速实现线性
增长,满足更多容量与性能诉求
高可用和高可靠
高可用设计,提供3个9的服务
可用性和11个9的数据可靠性

产品功能

高性能计算文件存储

与阿里云计算生态密切整合

混合云高性能计算文件存储

高性能计算文件存储
支持标准的POSIX和MPI-IO协议,高性能计算程序无需进行任何接口适配和性能优化即可高效率执行

  兼容POSIX/MPI

兼容标准POSIX/MPI-IO协议,基于 Linux POSIX和MPI-IO编程的高性能应用程序,无需进行任何更改,即可直接运行

  高吞吐,低延时

依靠并行架构,用户I/O在客户端和存储节点间完全并行访问,通过集群聚合,吞吐可以线性增加。同时基于全闪SSD介质,提供亚毫秒级时延

  并发访问优化

元数据和数据均采用分布式的并行架构,利用定制化客户端,支持百万级IOPS,几千台机器同时并发访问大量的小文件

应用场景

自动驾驶训练
AI训练与推理
影视渲染
高性能计算存储
自动驾驶训练
AI训练与推理
影视渲染
高性能计算存储
场景描述与概要
自动驾驶场景下,每台测试车每天将产生几十TB数据,针对这些数据需要进行快速分析。同时快速的数据积累需要控制存储成本
场景需求与痛点
业务创新为要,降低IT支出成本
海量数据需要实现高速处理
业务发展迅速,模型快速迭代,需要新技术的支撑
解决方案与优势
数据通过专线上传至 OSS
需要训练的数据,从 OSS 导入到 CPFS,利用 GPU 和 CPFS 文件系统的强大处理能力,在云端进行模型训练
训练完成后,数据归档到 OSS 进行长期保存
方案效果与价值
CPFS 高性能、灵活扩展的能力,有力的支撑了客户业务增长带来的大容量和高性能的需求
OSS 冷热数据分级存储能力,为客户提供海量数据长期存储服务,进一步协助客户节省开支
推荐搭配使用
场景描述与概要
将 CPFS 、NAS、OSS 和 ESSD 等多个存储产品组合与 GPU 云服务器、SCC、神龙弹性裸金属等计算集群无缝对接。通过容器化部署服务实现资源弹性调度,提供超高吞吐和超高 IOPS 能力,支持混合云、线下和云上部署,快速构建AI基础环境
场景需求与痛点
AI 数据流复杂,存储系统 IO 存在瓶颈
AI 训练、推理需求高性能计算存储
面对快速增长的数据,如何做好高效、低成本数据生命周期管理
解决方案与优势
CPFS与AI场景完美结合,支持海量小文件访问,提升AI训练性能
CPFS 灵活整合多种计算集群,提供超高吞吐和超高 IOPS 能力
支持混合云线下+云上部署,快速构建 AI 基础环境
云上云下数据流转和生命周期管理,满足高效计算和成本优化
方案效果与价值
CPFS 高性能IO加速训练时的小文件读取效率,提升业务模型的训练迭代效率,有力的支撑了客户业务增长带来的大容量和高性能的需求
OSS 冷热数据分级存储能力,为客户提供海量数据长期存储服务,进一步协助客户节省开支
推荐搭配使用
场景描述与概要
文件存储 CPFS 为影视渲染提供百万吞吐和百万 IOPS 的性能,在线扩容,业务无需中断,专线上云,确保数据安全
场景需求与痛点
数百 GB 热点数据访问,需要极高的存储吞吐能力
闭源商业渲染应用,需要应用零改造访问共享存储
不同项目算力,容量、性能需求不同,需要随需而变
计算密集型业务,成本高昂,需要在各个环节控制成本
解决方案与优势
CPFS 高性能提供百万 IOPS 和百万吞吐,支持前端缓存加速
CPFS 提供极致弹性,磁盘层按需进行容量扩容,缓存层按需(性能)购买,应用无感知
CPFS 高性价比,支持按照容量购买空间,按性能配置缓存,无需副本,无需拷贝,单份数据提供极致性能,有效降低TCO
方案效果与价值
CPFS 提供高吞吐和高IOPS,极大的提高了渲染任务的执行效率,简化日常运维工作,降低整体成本
推荐搭配使用
场景描述与概要
以高性能并行文件存储CPFS为核心,充分利用与OSS和NAS之间的数据分层流动, 与神龙、GPU和容器等计算产品无缝结合,为AI、超算、仿真和生信等业务提供高性能计算存储解决方案
场景需求与痛点
海量业务带来的吞吐和 IO 性能瓶颈
传统文件存储无法弹性扩展性能和容量
运维需要重度参与数据管理和性能维护
解决方案与优势
超高性能存储提高了计算资源的利用率
便于性能升级和容量扩展,减少运维管理成本
与云上无缝对接,数据冷热分层,降低成本
方案效果与价值
阿里云CPFS文件系统提供超高吞吐与IOPS,有效应对上千节点的数据读写压力,提升了计算效率,显著降低业务的整体成本,助力企业实现降本增效
推荐搭配使用

客户案例

墨镜天合
阿里云文件存储CPFS为MOREXFV购买的存储空间提供了高达50GiB/s的带宽和240万IOPS。在某电影渲染任务最大压力时,实测提供了41.3 GiB/s和32万 IOPS,极大地提高了渲染任务的执行效率。了解更多
Current Time 0:00
/
Duration Time -:-
Progress: NaN%

入门与实践

文档与工具

产品文档
查看产品文档
API & SDK
查看API & SDK使用文档
用户指南
了解如何使用
常见问题
查看常见问题解答