GPU云服务器成本优化的相关内容

阿里云文档 2025-11-13

使用TensorRT-LLM构建模型的推理环境

在GPU的实例上安装推理引擎TensorRT-LLM，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。

阿里云文档 2025-04-14

如何在GPU硬件上使用PAI-Blade量化优化

PAI-Blade支持TensorFlow和PyTorch模型在GPU硬件、端侧设备的INT8量化。本文主要介绍在GPU硬件上，如何使用PAI-Blade量化优化。

阿里云文档 2024-05-09

AI通信加速库DeepNCCL的架构、性能以及优化原理

DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库，在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍DeepNCCL的架构、优化原理和性能说明。

文章 2024-01-09 来自：开发者社区

阿里云ACK助力GPU成本优化，实现灵活管理

阿里云ACK助力GPU成本优化，实现灵活管理摘要：本文将介绍如何在阿里云容器服务ACK中，利用cGPU技术，共享GPU算力，提高GPU利用率，降低TCO。视频处理、科学计算等应用场景中，GPU云服务器是重要的计算服务。然而，对于GPU利用率不高的应用，如推理的应用...

阿里云文档 2023-11-15

如何通过Docker或Kubernetes使用eGPU优化套件,进行GPU容器虚拟化和资源共享

本文以卷积神经网络模型ResNet50的训练和推理为例，为您介绍如何通过Docker或Kubernetes使用eGPU优化套件，进行GPU容器虚拟化和资源共享。本实践中的ResNet50模型基于NVIDIA官方开源代码DeepLearningExamples实现。

文章 2020-08-13 来自：开发者社区

ACK实现GPU成本优化最佳实践

直达最佳实践：【ACK实现GPU成本优化最佳实践】最佳实践频道：【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践，从典型场景入门，提供一系列项目实践方案，降低企业上云门槛的同时满足您的需求！场景描述利用阿里云容器服务ACK部署GPU集群之后，出于成本优化的考虑，对于集群中GPU利用率不高的应用，比如推理的应用，建议利用阿里云cGPU技术将一定数量的应用跑到一块GPU卡上，以提高...