使用ACK Gateway with Inference Extension实现智能路由与流量管理
针对Kubernetes集群中的LLM推理服务，经典负载均衡方法往往基于简单的流量分配，无法处理LLM推理过程中的复杂请求和动态流量负载。本文介绍如何使用ACK Gateway with Inference Extension组件配置推理服务扩展，以实现智能路由和高效流量管理。
使用ACK Gateway with Inference Extension实现推理服务的请求熔断
ACK Gateway with Inference Extension组件支持在开启推理服务智能负载均衡的同时配置熔断规则。当服务出现异常时，熔断机制可以自动切断有问题的服务连接，防止故障蔓延。本文介绍如何使用ACK Gateway with Inference Extension为推理服务配置流量熔断规则。
注册集群通过内网访问云产品路由配置指南
当IDC数据中心的Kubernetes集群通过注册集群接入，并且数据中心Kubernetes集群的工作负载希望通过内网访问云产品时，可通过CEN、高速通道、VPN等连接云产品所在地域内网网络，并配置指向云产品内网网段的路由。本文列出部分云产品公共云以及金融云各地域的内网网段，以及获取内网网段的方式。
使用ACK Gateway with Inference Extension实现智能路由与流量管理
针对Kubernetes集群中的LLM推理服务，经典负载均衡方法往往基于简单的流量分配，无法处理LLM推理过程中的复杂请求和动态流量负载。本文介绍如何使用ACK Gateway with Inference Extension组件配置推理服务扩展，以实现智能路由和高效流量管理。
基于哈希打标插件的多标签路由实现按用户比例进行灰度发布
在分布式应用的发布实践中，全链路灰度发布可以通过严格泳道和宽松泳道的方式满足绝大部分场景的需求。但是，在一些场景中，需要对多个应用进行独立的灰度发布，同时，灰度的比例希望以用户维度进行（而非请求维度，即同一个用户的请求始终稳定地根据灰度比例命中到对应版本）。本文讲述如何通过ASM实现按用户比例进行多个应用的独立灰度发布。
在阿里云上体验Docker 1.12的路由能力和容器应用分发部署
阿里云容器服务团队将为大家奉献一系列深入学习的文章来帮助大家了解Docker 1.12的最新动态。 第一部分：在阿里云上体验Docker 1.12内置的编排能力 第二部分：在阿里云上体验Docker 1.12的路由能力和容器应用分发部署 (本文) 简述 Docker 1.12除了提供内置的编排能力，也提供了服务路由支持 routing mesh，和新的多容器应用分发和部署机制。 这里我们先介...
如何路由到服务中的特定容器
我有一个基于微服务架构的多人游戏，我试图想象如何水平扩展。它目前在Docker Swarm中精心策划，但我正在考虑转移到Kubernetes。 以下是有关游戏的详细信息： 这是一张带牌的桌面游戏多个玩家坐在同一张桌子上并互相玩耍因为它现在有效，我有一个负责所有表的容器。当玩家加入桌子时，他坐下来建立一个连接到该特定容器的websocket连接。所有桌子上的所有玩家都连接到同一个容器。游戏逻辑和游....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注