使用ACS GPU算力构建分布式DeepSeek满血版推理服务
在使用容器计算服务 ACS（Container Compute Service）算力时，您无需深入了解底层硬件，也无需涉及GPU节点管理和配置即可开箱即用。ACS部署简单、支持按量付费，非常适合用于LLM推理任务，可以有效降低推理成本。DeepSeek-R1是一个参数量较大的模型，部分单机GPU无法支持完全加载或高效运行，因此我们推荐使用双容器实例部署方案以及多容器实例分布式推理部署方案，能够更好...
为ACS GPU Pod指定GPU型号和驱动版本
阿里云容器计算服务ACS以Serverless形态提供容器算力，在使用GPU资源时，支持在Pod上声明GPU型号和ACS支持的驱动版本，极大降低了业务的基础设施管理和运维成本。本文主要介绍如何在创建Pod时指定GPU型号和驱动版本。
GPU故障检测
本文提供了一份指南，帮助您正确安装、配置和使用ACK GPU故障检测组件，以便更好地管理和维护ACK环境中的GPU资源。通过本文内容，您可以了解如何监测GPU资源的健康状态，提高集群的可靠性和效率。
使用ACS GPU算力构建QwQ-32B模型推理服务
在使用容器计算服务 ACS（Container Compute Service）算力时，您无需深入了解底层硬件，也无需涉及GPU节点管理和配置即可开箱即用。ACS部署简单、支持按量付费，非常适合用于LLM推理任务，可以有效降低推理成本。本文介绍如何使用ACS GPU算力部署生产可用的QwQ-32B模型推理服务。
ACK One注册集群使用ACS GPU算力构建DeepSeek蒸馏模型推理服务
DeepSeek是一款基于深度学习的智能推理模型，因其在自然语言处理和图像识别等领域的卓越表现而迅速受到了广泛关注。无论是企业级应用还是学术研究，DeepSeek都展现出了强大的潜力。然而，随着其应用场景的不断扩展，数据中心的算力瓶颈问题逐渐凸显。为应对这一挑战，阿里云推出了ACK One注册集群为企业提供灵活、高效的解决方案。通过将本地数据中心的Kubernetes集群接入ACK One注册集群...
GPU安全容器面临的问题和挑战
本次分享的主题是GPU安全容器面临的问题和挑战，分为五个部分，首先介绍GPU安全容器的背景，其次从安全、成本还有性能这三个维度介绍在实践中碰到的一些问题的应对方案，最后分享GPU安全容器带状态迁移的话题。 本次分享的主题是GPU安全容器面临的问题和挑战，由阿里云智能集团弹性计算高级技术专家李亮分享。 一、GPU安全容器 首先是G...
modelscope-funasr的 docker gpu1.1 容器中启动服务时，报这个是啥问题？
modelscope-funasr的 docker gpu1.1 容器中启动服务时，报这个是啥问题？
【Hello AI】GPU容器共享技术cGPU
GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU兼容性好不仅适配标准的Docker和Containerd工作方式，而且还无缝兼容Kubernetes工作方式。操作简单无需重编译AI应用，运行时无需替换CUDA库。资源灵活划分物理GPU的资源任意划分。例如，GPU....
在阿里函数计算怎么申请开通GPU函数计算？为什么使用容器创建函数时无法选择GPU类型？
在阿里函数计算怎么申请开通GPU函数计算？为什么使用容器创建函数时无法选择GPU类型？
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
容器服务
国内唯一 Forrester 公共云容器平台领导者象限。
+关注