如何收集Gateway with Inference Extension数据面监控
Gateway with Inference Extension组件支持将数据面指标输出至 Prometheus。本文介绍如何使用可观测监控 Prometheus 版(Managed Service for Prometheus)监控组件数据面的运行状况。
使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由
Prefill/Decode分离架构(PD分离),是当前主流的LLM推理优化技术,通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上,避免资源争抢,从而显著降低TPOT,提升系统吞吐。本文以Qwen3-32B模型为例,演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务配置推理路由。
在ACK集群中使用Gateway with Inference Extension路由外部MaaS服务
当 ACK 集群对接外部 MaaS 服务(如百炼)时,为统一处理 API 密钥和请求路径,可基于AI推理网关(Gateway with Inference Extension),配置路由规则(HTTPRoute),实现请求凭证的自动注入及URL重写,从而快速集成模型服务。
在ACK中实现AI内容安全合规审查
在ACK上运行生成式AI服务时,为实现内容合规性审查,可利用Gateway API推理扩展配置ACKTrafficFilter插件对接阿里云内容安全审核服务,从而在网关层自动拦截不当内容,满足相关监管和法规要求。
自定义Gateway配置
Gateway with Inference Extension基于Envoy Gateway实现,您可以通过调整EnvoyProxy资源配置来调整实际的Gateway参数,如Service类型、Deployment副本数以及Resources等。本文介绍如何为不同范围的Gateway配置副本数和资源用量。
ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践
【阅读原文】戳:ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践 ACK Gateway with Inference Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资...
ACK Gateway with AI Extension:大模型推理的模型灰度实践
【阅读原文】戳:ACK Gateway with AI Extension:大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资源(CRD),可以灵活定义推理服务的...
ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践
【阅读原文】戳:ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践 在当今大语言模型(LLM)推理场景中,Kubernetes已经成为LLM推理服务部署不可获取的基础设施,但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性,传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...
怎么在一个Higress集群里部署多网关?比如在阿里云ack里再多部署一个内网LB的gateway
怎么在一个Higress集群里部署多网关?比如在阿里云ack里再多部署一个内网LB的gateway
容器服务ACK托管版自建istio-gateway是不是不支持黑白名单啊?
容器服务ACK托管版自建istio-gateway是不是不支持黑白名单啊?集群入口是CLB,加安全组好像也没用,istio可以正常获取客户端IP
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
Gateway您可能感兴趣
- Gateway代码
- Gateway开源
- Gateway访问
- Gateway应用
- Gateway开发
- Gateway模型
- Gateway流量
- Gateway灰度发布
- Gateway网关
- Gateway服务
- Gateway spring
- Gateway cloud
- Gateway springcloud
- Gateway配置
- Gateway微服务
- Gateway路由
- Gateway nacos
- Gateway api
- Gateway nginx
- Gateway学习笔记
- Gateway实战
- Gateway报错
- Gateway alibaba
- Gateway限流
- Gateway time-out
- Gateway网站
- Gateway sentinel
- Gateway集成
- Gateway higress
- Gateway过滤器
产品推荐
开发与运维
集结各类场景实战经验,助你开发运维畅行无忧
+关注