文件存储CPFS_并行文件存储系统_高性能计算存储_存储-阿里云

文件存储 CPFS
播放视频
文件存储 CPFS (Cloud Parallel File Storage)是阿里云完全托管的并行文件系统,支持POSIX\MPI-IO和NFS协议,提供对数据亚毫秒级的访问和数十GB/s的读写吞吐,推荐用于AIGC、自动驾驶、EDA仿真、CG渲染等业务场景。欢迎加入钉钉用户群(钉钉群号:31045006299)与CPFS工程师进行交流讨论。

产品规格

100MB/s/TiB基线
IOPS:最高可达280万
吞吐:最高可达100000MBps
平均单路4k读延迟:0.6ms
平均单路4k写延迟:0.8ms
支持与OSS数据迁移
立即购买
200MB/s/TiB基线
IOPS:最高可达280万
吞吐:最高可达100000MBps
平均单路4k读延迟:0.4ms
平均单路4k写延迟:0.6 ms
支持与OSS数据迁移
立即购买
400MB/s/TiB基线(智算版邀测)
IOPS:最高可达3000万
吞吐:最高可达2TB/s
平均单路4k读延迟:0.25ms
平均单路4k读延迟:0.6ms
立即购买

产品优势

与OSS数据湖融合
支持高速导入OSS数据与元数据
与OSS数据流动
高吞吐和超高IOPS
采用分布式并行架构,基于全闪介质提供数十GB吞吐和百万级IOPS
性能指标
简单易用
30分钟创建高性能文件系统
支持POSIX、NFS协议互访
协议服务
弹性可扩展
支持在线扩容,可快速实现线性
增长,满足更多容量与性能诉求

产品功能

高性能计算文件存储

与阿里云计算生态密切整合

混合云高性能计算文件存储

高性能计算文件存储
支持标准的POSIX、MPI-IO、NFS协议,高性能计算程序无需进行任何接口适配和性能优化即可高效率执行

  兼容POSIX/MPI/NFS

兼容标准POSIX/MPI-IO/NFS协议,高性能应用程序无需进行任何更改,即可直接通过ECS或容器 CSI接口连接CPFS读写数据

  高吞吐,低延时

新一代并行架构,用户I/O在客户端和存储节点间完全并行访问,通过集群聚合,吞吐可以线性增加。同时基于全闪SSD介质,提供亚毫秒级时延

  并发访问优化

元数据和数据均采用分布式的并行架构,无惧小文件,支持百万级IOPS,几千台服务器同时并发访问,适合GPU多机多卡训练

应用场景

自动驾驶训练
AI训练与推理
影视渲染
高性能计算存储
场景描述与概要
自动驾驶场景下,每台测试车每天将产生几十TB数据,针对这些数据需要进行快速分析。同时快速的数据积累需要控制存储成本
场景需求与痛点
业务创新为要,降低IT支出成本
海量数据需要实现高速处理
业务发展迅速,模型快速迭代,需要新技术的支撑
解决方案与优势
数据通过专线上传至 OSS
需要训练的数据,从 OSS 导入到 CPFS,利用 GPU 和 CPFS 文件系统的强大处理能力,在云端进行模型训练
训练完成后,数据归档到 OSS 进行长期保存
方案效果与价值
CPFS 高性能、灵活扩展的能力,有力的支撑了客户业务增长带来的大容量和高性能的需求
OSS 冷热数据分级存储能力,为客户提供海量数据长期存储服务,进一步协助客户节省开支
推荐搭配使用
场景描述与概要
将 CPFS 、NAS、OSS 和 ESSD 等多个存储产品组合与 GPU 云服务器、SCC、神龙弹性裸金属等计算集群无缝对接。通过容器化部署服务实现资源弹性调度,提供超高吞吐和超高 IOPS 能力,支持混合云、线下和云上部署,快速构建AI基础环境
场景需求与痛点
AI 数据流复杂,存储系统 IO 存在瓶颈
AI 训练、推理需求高性能计算存储
面对快速增长的数据,如何做好高效、低成本数据生命周期管理
解决方案与优势
CPFS与AI场景完美结合,支持海量小文件访问,提升AI训练性能
CPFS 灵活整合多种计算集群,提供超高吞吐和超高 IOPS 能力
支持混合云线下+云上部署,快速构建 AI 基础环境
云上云下数据流转和生命周期管理,满足高效计算和成本优化
方案效果与价值
CPFS 高性能IO加速训练时的小文件读取效率,提升业务模型的训练迭代效率,有力的支撑了客户业务增长带来的大容量和高性能的需求
OSS 冷热数据分级存储能力,为客户提供海量数据长期存储服务,进一步协助客户节省开支
推荐搭配使用
场景描述与概要
文件存储 CPFS 为影视渲染提供几十GBps吞吐和百万 IOPS 的性能,在线扩容,业务无需中断,专线上云,确保数据安全
场景需求与痛点
几十 GBps 热点数据访问,需要极高的存储吞吐能力
闭源商业渲染应用,需要应用零改造访问共享存储
不同项目算力,容量、性能需求不同,需要随需而变
计算密集型业务,成本高昂,需要在各个环节控制成本
解决方案与优势
CPFS 高性能提供百万 IOPS 和几十GBps吞吐,支持前端缓存加速
CPFS 提供极致弹性,磁盘层按需进行容量扩容,缓存层按需(性能)购买,应用无感知
CPFS 高性价比,支持按照容量购买空间,按性能配置缓存,无需副本,无需拷贝,单份数据提供极致性能,有效降低TCO
方案效果与价值
CPFS 提供高吞吐和高IOPS,极大的提高了渲染任务的执行效率,简化日常运维工作,降低整体成本
推荐搭配使用
场景描述与概要
以高性能并行文件存储CPFS为核心,充分利用与OSS和NAS之间的数据分层流动, 与神龙、GPU和容器等计算产品无缝结合,为AI、超算、仿真和生信等业务提供高性能计算存储解决方案
场景需求与痛点
海量业务带来的吞吐和 IO 性能瓶颈
传统文件存储无法弹性扩展性能和容量
运维需要重度参与数据管理和性能维护
解决方案与优势
超高性能存储提高了计算资源的利用率
便于性能升级和容量扩展,减少运维管理成本
与云上无缝对接,数据冷热分层,降低成本
方案效果与价值
阿里云CPFS文件系统提供超高吞吐与IOPS,有效应对上千节点的数据读写压力,提升了计算效率,显著降低业务的整体成本,助力企业实现降本增效
推荐搭配使用

客户案例

轻舟智航
通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案,满足从海量数据采集到清洗、标注、训练到归档的数据自动化,提供了自动驾驶研发云的统一数据平台,极大提升了研发效率。了解更多
Current Time 0:00
/
Duration Time -:-
Progress: NaN%

入门与实践

文档与工具