使用 NVIDIA NIM 在阿里云容器服务（ACK）中加速 LLM 推理
$stringUtil.substring( $!{XssContent1.description},200)...
使用NVIDIA NIM在阿里云ACK中加速LLM推理
【阅读原文】戳：使用NVIDIA NIM在阿里云ACK中加速LLM推理 大语言模型（LLM）是近年来发展迅猛并且激动人心的热点话题，引入了许多新场景，满足了各行各业的需求。随着开源模型能力的不断增强，越来越多的企业开始尝试在生产环境中部署开源模型，将AI模型接入到现有的基础设施，优化系统延迟和吞吐量，完善监控和安全等方面。然而要在生产环境中部署这一套模型推理服务过程复杂且耗时。...
部署GPU共享推理服务
在某些场景下，您可能需要将多个模型推理任务共享在同一块GPU以提高GPU的利用率。本文以模型类型为Qwen1.5-0.5B-Chat，GPU类型为V100卡为例，演示如何使用KServe部署GPU共享的模型推理服务。
AI模型推理服务在Knative中最佳配置实践
Knative和AI结合提供了快速部署、高弹性和低成本的技术优势，适用于需要频繁调整计算资源的AI应用场景，例如模型推理等。您可以通过Knative Pod部署AI模型推理任务，配置自动扩缩容、灵活分配GPU资源等功能，提高AI推理服务能力和GPU资源利用率。
容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM
【阅读原文】戳：容器服务 ACK 大模型推理最佳实践系列一：TensorRT-LLM 在ACK中使用KServe部署Triton+TensorRT-LLM。本教程以Llama-2-7b-hf模型为例，演示如何在ACK中使用KServe部署Triton框架。Triton采用TensorRT-LLM后端。 背景介绍 &nb...
部署vLLM推理应用
vLLM（Vectorized Large Language Model）是一个高性能的大型语言模型推理库，支持多种模型格式和后端加速，适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例，演示如何部署一个vLLM推理服务。
基于Nginx Ingress Controller网关实现推理服务的灰度发布
在Raw Deployment部署模式下，应用的灰度发布需要基于网关实现。本文以Nginx Ingress Controller网关为例，介绍如何实现推理服务的灰度发布，并最终平稳地完成从v1到v2版本推理服务的升级。
如何基于ACK Serverless快速部署AI推理服务
基于ACK Serverless（Alibaba Cloud Kubernetes Serverless Framework）快速部署AI推理服务的步骤如下： 创建函数计算服务： 在阿里云控制台，创建一个函数计算服务，用于托管AI推理服务的代码。编写AI推理代码： 使用适合的编程语言编写AI推理...
在TDX节点池中使用CPU加速Stable Diffusion XL Turbo的文生图推理
$stringUtil.substring( $!{XssContent1.description},200)...
如何基于 ACK Serverless 快速部署 AI 推理服务
作者：元毅随着 AI 浪潮的到来，各种 AI 应用层出不穷，众所周知 AI 应用对 GPU 资源强烈依赖，但 GPU 很昂贵，如何降低 GPU 资源使用成本成为用户首要问题。而 AI 与 Serverless 技术结合，完全可以达到按需使用资源，降低资源成本的目的。那么在云原生场景下，...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
容器服务Kubernetes版您可能感兴趣
- 容器服务Kubernetes版k8s
- 容器服务Kubernetes版pod
- 容器服务Kubernetes版ingress
- 容器服务Kubernetes版单机
- 容器服务Kubernetes版部署
- 容器服务Kubernetes版负载均衡
- 容器服务Kubernetes版二进制
- 容器服务Kubernetes版集群
- 容器服务Kubernetes版集群部署
- 容器服务Kubernetes版乘坐
- 容器服务Kubernetes版容器
- 容器服务Kubernetes版应用
- 容器服务Kubernetes版阿里云
- 容器服务Kubernetes版服务
- 容器服务Kubernetes版云原生
- 容器服务Kubernetes版 Pod
- 容器服务Kubernetes版docker
- 容器服务Kubernetes版 Docker
- 容器服务Kubernetes版节点
- 容器服务Kubernetes版 K8S
- 容器服务Kubernetes版安装
- 容器服务Kubernetes版配置
- 容器服务Kubernetes版实践
- 容器服务Kubernetes版kubernetes
- 容器服务Kubernetes版架构
- 容器服务Kubernetes版网络
- 容器服务Kubernetes版资源
- 容器服务Kubernetes版日志
- 容器服务Kubernetes版 kubernetes
- 容器服务Kubernetes版监控
