人工智能平台 PAI - PAI-EAS模型预热缓存功能发布
功能优化
2026.03.20
模型预热缓存服务是用于预先加载指定模型缓存的独立服务,能够为启用模型缓存加速的推理服务提供高速访问的数据源。适用于LLM、AI生图、AI生视频等需要使用OSS/NAS挂载大型模型文件的场景。
优化内容
在既有通过模型缓存服务实现高效扩缩容的基础上,进一步引入独立缓存服务的预热机制,用于提前就绪关键缓存态,从而显著加速推理服务冷启动过程。
模型预热缓存服务是用于预先加载指定模型缓存的独立服务,能够为启用模型缓存加速的推理服务提供高速访问的数据源。适用于LLM、AI生图、AI生视频等需要使用OSS/NAS挂载大型模型文件的场景。