ack Gateway 的相关内容

阿里云文档 2025-06-09

使用Gateway with Inference Extension实现生成式AI推理服务灰度发布

通过Gateway with Inference Extension组件，您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新，将服务中断的时间降至最低。本文介绍如何使用Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。

阿里云文档 2025-06-04

Gateway with Inference Extension概述

本文介绍Gateway with Inference Extension组件的主要特性、实现原理和功能优势。

阿里云文档 2025-04-29

使用ACK Gateway with Inference Extension实现生成式AI推理服务灰度发布

通过ACK Gateway with Inference Extension组件，您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新，将服务中断的时间降至最低。本文介绍如何使用ACK Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。

阿里云文档 2025-04-29

使用ACK Gateway with Inference Extension实现智能路由与流量管理

针对Kubernetes集群中的LLM推理服务，经典负载均衡方法往往基于简单的流量分配，无法处理LLM推理过程中的复杂请求和动态流量负载。本文介绍如何使用ACK Gateway with Inference Extension组件配置推理服务扩展，以实现智能路由和高效流量管理。

阿里云文档 2025-04-22

使用ACK Gateway with Inference Extension实现推理服务的流量镜像

ACK Gateway with Inference Extension组件在支持推理服务智能负载均衡的同时，也支持推理请求的流量镜像功能。在生产环境中部署新推理模型时，您可以通过流量镜像复制生产流量来评估新模型的表现，确保其性能和稳定性符合要求之后再正式上线。本文介绍如何使用ACK Gateway with Inference Extension来实现推理请求的流量镜像。

文章 2025-04-16 来自：开发者社区

ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践

【阅读原文】戳：ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践 ACK Gateway with Inference Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资...

文章 2025-03-18 来自：开发者社区

ACK Gateway with AI Extension：大模型推理的模型灰度实践

【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...

文章 2025-03-17 来自：开发者社区

ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...