容器服务Kubernetes版gateway 的相关内容

阿里云文档 2026-03-06

使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由

Prefill/Decode分离架构（PD分离），是当前主流的LLM推理优化技术，通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上，避免资源争抢，从而显著降低TPOT，提升系统吞吐。本文以Qwen3-32B模型为例，演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务配置推理路由。

阿里云文档 2026-03-06

在ACK集群中使用Gateway with Inference Extension路由外部MaaS服务

当 ACK 集群对接外部 MaaS 服务（如百炼）时，为统一处理 API 密钥和请求路径，可基于AI推理网关（Gateway with Inference Extension），配置路由规则（HTTPRoute），实现请求凭证的自动注入及URL重写，从而快速集成模型服务。

阿里云文档 2026-03-06

在ACK中实现AI内容安全合规审查

在ACK上运行生成式AI服务时，为实现内容合规性审查，可利用Gateway API推理扩展配置ACKTrafficFilter插件对接阿里云内容安全审核服务，从而在网关层自动拦截不当内容，满足相关监管和法规要求。

阿里云文档 2025-08-20

如何收集Gateway with Inference Extension数据面监控

Gateway with Inference Extension组件支持将数据面指标输出至 Prometheus。本文介绍如何使用可观测监控 Prometheus 版（Managed Service for Prometheus）监控组件数据面的运行状况。

阿里云文档 2025-08-08

自定义Gateway配置

Gateway with Inference Extension基于Envoy Gateway实现，您可以通过调整EnvoyProxy资源配置来调整实际的Gateway参数，如Service类型、Deployment副本数以及Resources等。本文介绍如何为不同范围的Gateway配置副本数和资源用量。

文章 2025-04-16 来自：开发者社区

ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践

【阅读原文】戳：ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践 ACK Gateway with Inference Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资...

文章 2025-03-18 来自：开发者社区

ACK Gateway with AI Extension：大模型推理的模型灰度实践

【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...

文章 2025-03-17 来自：开发者社区

ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

问答 2024-08-07 来自：开发者社区

怎么在一个Higress集群里部署多网关？比如在阿里云ack里再多部署一个内网LB的gateway

文章 2024-07-14 来自：开发者社区

有了k8s还需要gateway网关，nacos配置中心吗

在Kubernetes（k8s）环境中，您可能仍然需要使用服务网关（Gateway）和配置中心如Nacos，尽管k8s本身提供了一些类似的功能。以下是一些分析： 1. 服务发现与注册虽然k8s通过其内置的Service资源和服务发现机制提供了服务注册和发现的功能，但在某些情况下，您可能需要更高级的动态路由和负载均衡功能，这些是服务网关（如Spring Cloud Gateway...