AI 助理
备案控制台
文章 2025-03-18 来自：开发者社区

ACK Gateway with AI Extension：大模型推理的模型灰度实践

【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...

ACK Gateway with AI Extension：大模型推理的模型灰度实践
文章 2023-05-31 来自：开发者社区

Spring Cloud Gateway 网关如何实现灰度发布？

前言Spring Cloud LoadBalancer（SCL）SCL 负载均衡策略自定义灰度发布代码实现自定义负载均衡策略自定义服务实例筛选逻辑测试小结前言这篇文章来源于粉丝提出的一个问题：如何解决多环境统一注册中心服务实例乱窜？怎么理解呢？假设现在开发环境的AccountService已经在Nacos中注册了，现在小张需要对它进行修改升级，本地启动AccountService后也注册到了Na....

Spring Cloud Gateway 网关如何实现灰度发布？
文章 2022-06-20 来自：开发者社区

初探-Discovery开源框架-gateway灰度方案

前言在上一篇介绍了自定义实现网关灰度方案初探灰度发布系列--AB Test以及栗子Discovery 框架比较成熟的开源框架，可以参考里面实现方案。Discovery实现了Eureka、Nacos等等注册中心灰度，以及通过redis、Nacos、Etcd来实现配置中心（为了网关动态配置）还有类似apm全链路变量传递功能，以及改写fegin、resttemplate负载均衡Discovery官网h....

初探-Discovery开源框架-gateway灰度方案
文章 2022-05-14 来自：开发者社区

nacos+ribbon+feign+gateway设计实现灰度方案 （下）

四.项目demo设计与规划五.关键代码实现第一步: 启动nacos服务. nacos使用的是本地mysql数据库, 而我们的mysql是放在docker上的,所以,首先启动mysqldocker start bdc382d8f7f8然后启动nacos,这里nacos使用的版本是1.2.1 ./startup.sh -m standalone在浏览器输入http://localhost:8848/....

nacos+ribbon+feign+gateway设计实现灰度方案 （下）
文章 2022-05-14 来自：开发者社区

nacos+ribbon+feign+gateway设计实现灰度方案 （上）

一. 架构设计微服务架构图架构原理 1. 微服务系统在启动时将自己注册到服务注册中心，同时对外发布 Http 接口供其它系统调用(一般都是基于Spring MVC)2、服务消费者基于 Feign 调用服务提供者对外发布的接口，先对调用的本地接口加上注解@FeignClient，Feign会针对 加了该注解的接口生成动态代理，服务消费者会针对 Feign 生成的动态代理去调用方法时，在底层会生成H....

nacos+ribbon+feign+gateway设计实现灰度方案 （上）
文章 2019-07-09 来自：开发者社区

Spring Cloud Gateway 扩展支持多版本控制及灰度发布

灰度发布 什么是灰度发布，概念请参考,我们来简单的通过下图来看下，通俗的讲： 为了保证服务升级过程的平滑过渡提高客户体验，会一部分用户 一部分用户递进更新，这样生产中会同时出现多个版本的客户端，为了保证多个版本客户端的可用需要对应的多个版本的服务端版本。灰度发布就是通过一定策略保证 多个版本客户端、服务端间能够正确对应。 所谓灰度发布，即某个服务存在多个实例时，并且实例版本间的版本并不一致，...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

Gateway您可能感兴趣

开发与运维

集结各类场景实战经验，助你开发运维畅行无忧

+关注