在ACK中使用KTransformers部署DeepSeek-R1模型
KTransformers框架实现了多种LLM推理优化，进一步减少了推理阶段的显存占用，从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。
在ACK托管集群（智能托管模式）中部署工作负载并实现负载均衡
本文介绍如何在ACK托管集群（智能托管模式）中部署一个工作负载，并通过ALB Ingress实现公网访问。完成后，您可以通过设定的域名访问该应用，实现外部流量的高效管理和负载均衡。
使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务
为解决DeepSeek推理服务对GPU规格需求越来越高的问题，您可以通过ACK Edge集群管理本地IDC的GPU机器，并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行，当本地IDC GPU资源不足时，任务将自动调度至云上的ACS Serverless GPU，满足业务扩展需求的同时降低成本。
使用ECI部署QwQ-32B
本文以部署QwQ-32B模型为例，演示如何使用数据缓存快速部署QwQ-32B模型。通过数据缓存提前拉取QwQ-32B模型数据，然后在部署QwQ-32B模型推理服务时直接挂载模型数据，可以免去在实例中拉取模型数据的等待时间，加速QwQ-32B部署。
使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由
【阅读原文】戳：使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由 背景介绍 1. QwQ-32B模型 阿里云最新发布的QwQ-32B模型，通过强化学习大幅度提升了模型推理能力。QwQ-32B模型拥有320亿参数，其性能可以与DeepSeek-R1 671B媲美。模型数学代码等核心指标（...
容器化AI模型部署实战：从训练到推理
在上一篇中，我们探讨了AI技术如何赋能容器化生态，从智能化运维到创新应用，展现了二者融合的巨大潜力。本篇将聚焦于一个具体场景：AI模型的容器化部署，并通过代码示例，带领读者一步步完成从模型训练到推理服务的完整流程。 一、场景概述 假设我们有一个图像分类任务，需要训练一个卷积神经网络（C...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
容器更多部署相关
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注