为LLM推理服务配置推理网关智能路由
传统的HTTP请求,经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而,对于LLM推理服务来说,每个请求给后端带来的负载是难以预测的。推理网关(Gateway with Inference Extension)是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件,它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能,根...
使用ASM网关的流量路由功能
服务网格 ASM(Service Mesh)为网关提供了直观的图形化界面,您可以直接在控制台创建目标规则和虚拟服务,而无需编写YAML文件,大幅简化了流量管理操作。本文介绍如何使用图形化的方式创建流量策略和路由策略。
在ASM网关上基于Client IP进行路由
基于客户端IP进行路由是较为常见的需求,例如内网和公网的用户需要访问不同版本的应用、不同地区的用户需要访问不同类别的内容等。因此ASM提供了自定义插件能力,可以将请求的客户端IP转换为请求Header进行路由。本文将介绍如何在ASM中利用自定义插件实现基于客户端IP的路由。
《实施Cisco统一通信VoIP和QoS(CVOICE)学习指南(第4版)》一1.2 语音网关如何路由呼叫
本节书摘来自异步社区《实施Cisco统一通信VoIP和QoS(CVOICE)学习指南(第4版)》一书中的第1章,第1.2节,作者 刘丹宁, CCIE#19920 , 田果, #19036 ,更多章节内容可以访问云栖社区“异步社区”公众号查看 1.2 语音网关如何路由呼叫 实施Cisco统一通信VoIP和QoS(CVOICE)学习指南(第4版)Cisco UC网关的首要功能就是路由呼叫。呼叫路由选....
《实施Cisco统一通信VoIP和QoS(CVOICE)学习指南(第4版)》一1.2 语音网关如何路由呼叫
本节书摘来异步社区《实施Cisco统一通信VoIP和QoS(CVOICE)学习指南(第4版)》一书中的第1章,第1.2节,作者: 【美】Kevin Wallace 译者: 刘丹宁, 田果, 责编: 傅道坤,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.2 语音网关如何路由呼叫 实施Cisco统一通信VoIP和QoS(CVOICE)学习指南(第4版)Cisco UC网关的首要功能就...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。