阿里云文档 2026-04-01

如何收集Gateway with Inference Extension数据面监控

Gateway with Inference Extension组件支持将数据面指标输出至 Prometheus。本文介绍如何使用可观测监控 Prometheus 版(Managed Service for Prometheus)监控组件数据面的运行状况。

阿里云文档 2026-03-06

使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由

Prefill/Decode分离架构(PD分离),是当前主流的LLM推理优化技术,通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上,避免资源争抢,从而显著降低TPOT,提升系统吞吐。本文以Qwen3-32B模型为例,演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务配置推理路由。

阿里云文档 2026-03-06

在ACK集群中使用Gateway with Inference Extension路由外部MaaS服务

当 ACK 集群对接外部 MaaS 服务(如百炼)时,为统一处理 API 密钥和请求路径,可基于AI推理网关(Gateway with Inference Extension),配置路由规则(HTTPRoute),实现请求凭证的自动注入及URL重写,从而快速集成模型服务。

阿里云文档 2026-03-06

在ACK中实现AI内容安全合规审查

在ACK上运行生成式AI服务时,为实现内容合规性审查,可利用Gateway API推理扩展配置ACKTrafficFilter插件对接阿里云内容安全审核服务,从而在网关层自动拦截不当内容,满足相关监管和法规要求。

阿里云文档 2025-08-08

自定义Gateway配置

Gateway with Inference Extension基于Envoy Gateway实现,您可以通过调整EnvoyProxy资源配置来调整实际的Gateway参数,如Service类型、Deployment副本数以及Resources等。本文介绍如何为不同范围的Gateway配置副本数和资源用量。

文章 2025-04-16 来自:开发者社区

ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践

【阅读原文】戳:ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践 ACK Gateway with Inference Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资...

ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践
文章 2025-03-18 来自:开发者社区

ACK Gateway with AI Extension:大模型推理的模型灰度实践

【阅读原文】戳:ACK Gateway with AI Extension:大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资源(CRD),可以灵活定义推理服务的...

ACK Gateway with AI Extension:大模型推理的模型灰度实践
文章 2025-03-17 来自:开发者社区

ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳:ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践 在当今大语言模型(LLM)推理场景中,Kubernetes已经成为LLM推理服务部署不可获取的基础设施,但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性,传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践
问答 2024-08-07 来自:开发者社区

怎么在一个Higress集群里部署多网关?比如在阿里云ack里再多部署一个内网LB的gateway

怎么在一个Higress集群里部署多网关?比如在阿里云ack里再多部署一个内网LB的gateway

问答 2023-10-25 来自:开发者社区

容器服务ACK托管版自建istio-gateway是不是不支持黑白名单啊?

容器服务ACK托管版自建istio-gateway是不是不支持黑白名单啊?集群入口是CLB,加安全组好像也没用,istio可以正常获取客户端IP

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCardInfo":{"productTitle":"AI 网关","productDescription":"Agent 构建必备,让 LLM 和 MCP 调用更可控、更安全、更经济。","productContentLink":"https://www.aliyun.com/product/api-gateway/ai-gateway","isDisplayProductIcon":true,"productButton1":{"productButtonText":"产品详情","productButtonLink":"https://www.aliyun.com/product/api-gateway/ai-gateway"},"productButton2":{"productButtonText":"文档","productButtonLink":"https://help.aliyun.com/zh/api-gateway/ai-gateway/product-overview/what-is-an-ai-gateway?spm=5176.43410590.J__YK4tzIcbUfim9u-kxySN.1.192be72dRbBzqR"},"productButton3":{"productButtonText":"控制台","productButtonLink":"https://apig.console.aliyun.com/?spm=5176.43410590.J__YK4tzIcbUfim9u-kxySN.2.192be72dRbBzqR&region=cn-beijing#/ai-gateway-overview"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"产品入门","productPromotionInfoFirstText":"教程学习","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/api-gateway/ai-gateway/getting-started/manage-the-ai-api?spm=5176.43410590.J_hTE1CWiP9s-wmffHdCffK.1.192be72dh8dQob","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"1","productPromotionGroupingTitle":"产品选型","productPromotionInfoFirstText":"免费试用","productPromotionInfoFirstLink":"https://free.aliyun.com/?spm=5176.43410590.J_dFy_JybRm6Ym7bLCi5DYE.2.6e1c7bf87bf8T6&searchKey=AI%E7%BD%91%E5%85%B3","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"2","productPromotionGroupingTitle":"产品功能","productPromotionInfoFirstText":"管理 Model API","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/api-gateway/ai-gateway/user-guide/managing-the-model-api","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"3","productPromotionGroupingTitle":"产品动态","productPromotionInfoFirstText":"新功能","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/api-gateway/ai-gateway/product-overview/new-feature-release-notes-ai-gateway","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}

开发与运维

集结各类场景实战经验,助你开发运维畅行无忧

+关注