容器服务Kubernetes版大模型的相关内容

阿里云文档 2025-04-24

利用PyTorch Profiler实现大模型的性能分析和故障排查

本文介绍PyTorch Profiler结合TensorBoard分析模型性能，分别从数据加载、数据传输、GPU计算、模型编译等优化思路去提升模型训练的性能。最后总结了一些会导致CPU和GPU同步的常见的PyTorch API，在使用这些API时需要考虑是否会带来性能影响。

文章 2025-04-16 来自：开发者社区

ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践

【阅读原文】戳：ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践 ACK Gateway with Inference Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资...

阿里云文档 2025-04-09

基于ACK搭建一个具备大模型和向量检索功能的知识库应用程序

本文主要介绍如何基于阿里云ACK集成DeepGPU-LLM推理引擎与AnalyticDB PostgreSQL云原生数据仓库，结合LangChain-ChatChat开源框架，可快速搭建检索增强生成（RAG）大模型知识库系统。

文章 2025-03-18 来自：开发者社区

ACK Gateway with AI Extension：大模型推理的模型灰度实践

【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...

文章 2025-03-17 来自：开发者社区

ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

阿里云文档 2025-01-09

使用数据盘快照加速大模型应用启动

ACK节点池支持为新增节点配置数据盘，并使用预先存在的数据盘快照进行初始化。该快照可以包含所有必要的缓存数据，如预下载的容器镜像、预训练的大规模机器学习模型、系统所需镜像及其他关键的静态资源。每当有新节点加入节点池时，它将自动从快照中恢复这些缓存数据，大幅缩短首次运行数据加载时间。本文通过两个场景展示如何利用数据盘快照加速工作负载和节点初始化的部署速度。

文章 2024-06-12 来自：开发者社区

容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM

【阅读原文】戳：容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM 在ACK中使用KServe部署Triton+TensorRT-LLM。本教程以Llama-2-7b-hf模型为例，演示如何在ACK中使用KServe部署Triton框架。Triton采用TensorRT-LLM后端。背景介绍 &nb...