deepseek容器服务Kubernetes版的相关内容

阿里云文档 2025-04-08

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型（671B）单卡显存不足的挑战，提出混合并行策略（Pipeline Parallelism=2 + Tensor Parallelism=8），结合阿里云Arena工具，实现在2台ecs.ebmgn8v.48xlarge（8*96GB）节点上的高效分布式部署。进一步演示如何将部署于AC...

阿里云文档 2025-03-19

使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务

为解决DeepSeek推理服务对GPU规格需求越来越高的问题，您可以通过ACK Edge集群管理本地IDC的GPU机器，并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行，当本地IDC GPU资源不足时，任务将自动调度至云上的ACS Serverless GPU，满足业务扩展需求的同时降低成本。

阿里云文档 2025-03-19

基于ACK部署DeepSeek蒸馏模型推理服务

本文介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。

文章 2025-02-21 来自：开发者社区

部署DeepSeek但IDC GPU不足，阿里云ACK Edge虚拟节点来帮忙

【阅读原文】戳：部署DeepSeek但IDC GPU不足，阿里云ACK Edge虚拟节点来帮忙阿里云ACK Edge集群采用云边一体化架构，云上托管Kubernetes控制面，接入IDC机器做为Kubernetes集群数据面节点。实现IDC机器的Kubernetes容器化管理，实现现有资源的利旧，提高应用的部署运维效率。目前AI大模型业务快速发展...

阿里云文档 2025-02-19

ACK One注册集群使用ACS GPU算力构建DeepSeek蒸馏模型推理服务

DeepSeek是一款基于深度学习的智能推理模型，因其在自然语言处理和图像识别等领域的卓越表现而迅速受到了广泛关注。无论是企业级应用还是学术研究，DeepSeek都展现出了强大的潜力。然而，随着其应用场景的不断扩展，数据中心的算力瓶颈问题逐渐凸显。为应对这一挑战，阿里云推出了ACK One注册集群为企业提供灵活、高效的解决方案。通过将本地数据中心的Kubernetes集群接入ACK One注册集群...

文章 2025-02-13 来自：开发者社区

部署DeepSeek但GPU不足，ACK One注册集群助力解决IDC GPU资源不足

【阅读原文】戳：部署DeepSeek但GPU不足，ACK One注册集群助力解决IDC GPU资源不足春节期间，DeepSeek作为一款基于深度学习的智能推理模型，因其在自然语言处理、图像识别等领域的卓越表现迅速走红。无论是企业级应用还是学术研究，DeepSeek都展现出了强大的潜力。然而，随着其应用场景的不断扩展，数据中心的算力瓶颈问题逐渐凸显。 &nbs...