使用vLLM容器镜像快速构建大语言模型在GPU上的推理环境
在GPU的实例上部署vLLM镜像后，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分类或分析等自然语言处理业务场景，您无需深入了解底层硬件，也无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用vLLM容器镜像来快速构建大语言模型的推理服务。
使用 NVIDIA NIM 在阿里云容器服务（ACK）中加速 LLM 推理
$stringUtil.substring( $!{XssContent1.description},200)...
使用DeepGPU-LLM容器镜像快速构建大语言模型在GPU上的推理环境
$stringUtil.substring( $!{XssContent1.description},200)...
部署GPU共享推理服务
在某些场景下，您可能需要将多个模型推理任务共享在同一块GPU以提高GPU的利用率。本文以模型类型为Qwen1.5-0.5B-Chat，GPU类型为V100卡为例，演示如何使用KServe部署GPU共享的模型推理服务。
AI模型推理服务在Knative中最佳配置实践
Knative和AI结合提供了快速部署、高弹性和低成本的技术优势，适用于需要频繁调整计算资源的AI应用场景，例如模型推理等。您可以通过Knative Pod部署AI模型推理任务，配置自动扩缩容、灵活分配GPU资源等功能，提高AI推理服务能力和GPU资源利用率。
容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM
【阅读原文】戳：容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM 在ACK中使用KServe部署Triton+TensorRT-LLM。本教程以Llama-2-7b-hf模型为例，演示如何在ACK中使用KServe部署Triton框架。Triton采用TensorRT-LLM后端。 背景介绍 &nb...
部署vLLM推理应用
vLLM（Vectorized Large Language Model）是一个高性能的大型语言模型推理库，支持多种模型格式和后端加速，适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例，演示如何部署一个vLLM推理服务。
阿里云边缘容器云帮助AI推理应用快速落地
近日，阿里云技术专家徐若晨在全球分布式云大会上，分享了《边缘容器云助力AI推理高效落地》的主题演讲，分享了阿里云边缘容器云如何助力开发者实现更快速的AI推理应用的迭代和部署。此外，他还分享了边缘AI推理应用在实际业务中的应用案例。 终端算力上移 云端算力下沉 客户在边缘部署时面对的挑战包括：首先，构建自有边缘机房的时间周期长，资本成本高，且常常需要处理设备的迁...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注