为LLM推理服务配置推理网关智能路由
传统的HTTP请求，经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而，对于LLM推理服务来说，每个请求给后端带来的负载是难以预测的。推理网关（Gateway with Inference Extension）是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能，根...
使用ASM网关的流量路由功能
服务网格 ASM（Service Mesh）为网关提供了直观的图形化界面，您可以直接在控制台创建目标规则和虚拟服务，而无需编写YAML文件，大幅简化了流量管理操作。本文介绍如何使用图形化的方式创建流量策略和路由策略。
在ASM网关上基于Client IP进行路由
基于客户端IP进行路由是较为常见的需求，例如内网和公网的用户需要访问不同版本的应用、不同地区的用户需要访问不同类别的内容等。因此ASM提供了自定义插件能力，可以将请求的客户端IP转换为请求Header进行路由。本文将介绍如何在ASM中利用自定义插件实现基于客户端IP的路由。
快速实现一个网关+动态路由（下）
# 过滤器gateway提供GlobalFilter及Ordered两个接口用来定义过滤器，我们自定义过滤器只需要实现这个两个接口即可GlobalFilter filter() 实现过滤器业务Ordered getOrder() 定义过滤器执行顺序通常一个网关服务的过滤主要包含 鉴权（是否登录、是否黑名单、是否免登录接口...） 限流（ip限流等等）功能，我们今天简单介绍鉴权过滤器的流程实现鉴权....
快速实现一个网关+动态路由（上）
# 前言本文记录一下我是如何使用Gateway搭建网关服务及实现动态路由的，帮助大家学习如何快速搭建一个网关服务，了解路由相关配置，鉴权的流程及业务处理，有兴趣的一定看到最后，非常适合没接触过网关服务的同学当作入门教程。# 搭建服务框架SpringBoot 2.1<parent> <groupId>org.springframework.boot</group...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
