基于ACK多机分布式部署DeepSeek满血版推理部署实战
本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型（671B）单卡显存不足的挑战，提出混合并行策略（Pipeline Parallelism=2 + Tensor Parallelism=8），结合阿里云Arena工具，实现在2台ecs.ebmgn8v.48xlarge（8*96GB）节点上的高效分布式部署。进一步演示如何将部署于AC...
在ACK Edge集群中部署混合云LLM弹性推理
为解决混合云场景下部署LLM推理业务时，流量的不均衡带来的数据中心GPU资源分配问题，ACK Edge集群提供了一套混合云LLM弹性推理解决方案，帮您统一管理云上和云下的GPU资源，低峰期优先使用云下数据中心资源，高峰期资源不足时快速启用云上资源。该方案帮您显著降低LLM推理服务运营成本，动态调整并灵活利用资源，保障服务稳定性，避免资源闲置。
基于Knative部署vLLM推理应用
传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况，即使GPU利用率达到了100%，也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA（Knative Pod Autoscaler）能够根据QPS或RPS来调整资源分配，更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例，介绍如何在Knati...
使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由
【阅读原文】戳：使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由 背景介绍 1. QwQ-32B模型 阿里云最新发布的QwQ-32B模型，通过强化学习大幅度提升了模型推理能力。QwQ-32B模型拥有320亿参数，其性能可以与DeepSeek-R1 671B媲美。模型数学代码等核心指标（...
AI模型推理服务在Knative中最佳配置实践
Knative和AI结合提供了快速部署、高弹性和低成本的技术优势，适用于需要频繁调整计算资源的AI应用场景，例如模型推理等。您可以通过Knative Pod部署AI模型推理任务，配置自动扩缩容、灵活分配GPU资源等功能，提高AI推理服务能力和GPU资源利用率。
使用 NVIDIA NIM 在阿里云容器服务（ACK）中加速 LLM 推理
大语言模型（LLM）是近年来发展迅猛并且激动人心的热点话题，引入了许多新场景，满足了各行各业的需求。随着开源模型能力的不断增强，越来越多的企业开始尝试在生产环境中部署开源模型，将 AI 模型接入到现有的基础设施，优化系统延迟和吞吐量，完善监控和安全等方面。然而要在生产环境中部署这一套模型推理服务过程复杂且耗时。为了简化流程，帮助企业客户加速部署生成式 AI 模型，本文结合 **NVIDIA NI....
部署GPU共享推理服务
在某些场景下，您可能需要将多个模型推理任务共享在同一块GPU以提高GPU的利用率。本文以模型类型为Qwen1.5-0.5B-Chat，GPU类型为V100卡为例，演示如何使用KServe部署GPU共享的模型推理服务。
容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM
【阅读原文】戳：容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM 在ACK中使用KServe部署Triton+TensorRT-LLM。本教程以Llama-2-7b-hf模型为例，演示如何在ACK中使用KServe部署Triton框架。Triton采用TensorRT-LLM后端。 背景介绍 &nb...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
