使用ACK Gateway with Inference Extension实现智能路由与流量管理
针对Kubernetes集群中的LLM推理服务，经典负载均衡方法往往基于简单的流量分配，无法处理LLM推理过程中的复杂请求和动态流量负载。本文介绍如何使用ACK Gateway with Inference Extension组件配置推理服务扩展，以实现智能路由和高效流量管理。
使用ACK Gateway with Inference Extension实现推理服务的请求熔断
ACK Gateway with Inference Extension组件支持在开启推理服务智能负载均衡的同时配置熔断规则。当服务出现异常时，熔断机制可以自动切断有问题的服务连接，防止故障蔓延。本文介绍如何使用ACK Gateway with Inference Extension为推理服务配置流量熔断规则。
注册集群通过内网访问云产品路由配置指南
当IDC数据中心的Kubernetes集群通过注册集群接入，并且数据中心Kubernetes集群的工作负载希望通过内网访问云产品时，可通过CEN、高速通道、VPN等连接云产品所在地域内网网络，并配置指向云产品内网网段的路由。本文列出部分云产品公共云以及金融云各地域的内网网段，以及获取内网网段的方式。
使用ACK Gateway with Inference Extension实现智能路由与流量管理
针对Kubernetes集群中的LLM推理服务，经典负载均衡方法往往基于简单的流量分配，无法处理LLM推理过程中的复杂请求和动态流量负载。本文介绍如何使用ACK Gateway with Inference Extension组件配置推理服务扩展，以实现智能路由和高效流量管理。
基于哈希打标插件的多标签路由实现按用户比例进行灰度发布
在分布式应用的发布实践中，全链路灰度发布可以通过严格泳道和宽松泳道的方式满足绝大部分场景的需求。但是，在一些场景中，需要对多个应用进行独立的灰度发布，同时，灰度的比例希望以用户维度进行（而非请求维度，即同一个用户的请求始终稳定地根据灰度比例命中到对应版本）。本文讲述如何通过ASM实现按用户比例进行多个应用的独立灰度发布。
将阿里云Kubernetes容器服务中的某些服务暴露为内网路由，
要将阿里云Kubernetes容器服务中的某些服务暴露为内网路由，你可以使用以下方法： 使用Service类型为LoadBalancer：在Kubernetes中，可以创建一个Service，并将其类型设置为LoadBalancer。这将自动创建一个内网SLB并将流量转发到指定的Pod。这样，从ECS实例或VPC...
阿里云k8s容器服务如何暴露内网路由？
我们现在容器服务中的路由，直接是SLB公网接管的，都走公网流量。 需求：从ECS中(不在k8s集群内)，访问某个容器服务，希望走VPC内网流量 请问如何将容器中某些服务暴露出内网的路由？
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注