使用ASM配置集群内LLM服务负载均衡与流量管理
针对部署在Kubernetes集群中的LLM推理服务,由于LLM推理流量和工作负载的特殊性,经典的负载均衡方法效果不佳,且无法从日志和监控指标中获取LLM推理相关信息。本文将介绍如何在服务网格ASM中为vLLM推理服务声明推理服务池和路由定义,以提升负载均衡性能,并实现推理流量的路由和可观测性。
使用ASM回退功能构建高可用的LLM服务
在LLM场景中,业务应用需要对接内部或外部的基础模型服务。服务网格 ASM(Service Mesh)支持同时对接多个基础模型服务,并且可以实现当一个模型服务不可用时,自动回退到另一个模型服务,助力企业实现LLM应用的高可用。本文介绍如何在对接LLM服务时使用流量回退功能。
使用ASM出口网关访问外部mTLS服务
服务网格 ASM(Service Mesh)出口网关作为网格内流量的统一出口,可以执行TLS/mTLS请求的发起,进而实现全链路的加密通信。同时,出口网关也可以执行丰富的安全策略,实现更加精细的访问控制。在服务网格中,出口网关是实现出口流量管理的最佳方案。本文将介绍如何使用ASM出口网关管理出口流量并发起mTLS通信。
使用ASM出口网关访问外部mTLS服务
服务网格 ASM(Service Mesh)出口网关作为网格内流量的统一出口,可以执行TLS/mTLS请求的发起,进而实现全链路的加密通信。同时,出口网关也可以执行丰富的安全策略,实现更加精细的访问控制。在服务网格中,出口网关是实现出口流量管理的最佳方案。本文将介绍如何使用ASM出口网关管理出口流量并发起mTLS通信。
在ASM入口网关上配置mTLS服务并限制特定客户端访问
ASM网关支持对外提供mTLS服务。mTLS协议要求客户端提供自身证书,证书中包含了用户的身份信息。您可以在授权策略中配置只有特定的用户才可以成功访问该服务,进而为服务提供更加高级别的保护。本文将介绍如何在ASM入口网关上配置mTLS服务,并且通过授权策略实现对特定用户的访问限制。
你的Sleep服务会梦到服务网格外的bookinfo吗
前言服务网格是一个通过“Sidecar”模式进行服务治理简化的平台。整个服务网格可以划分为包括核心组件Istiod的“控制面”以及包括了每个服务的Sidecar的“数据面”。如果各位使用过服务网格,相信对上面的概念也算是略有了解了。在服务网格Istio中,我们知道每个Sidecar都是一个envoy应用,内部有着包含着listener、route、cluster、secret等部分的完整配置;e....

你的 Sleep 服务会梦到服务网格外的 bookinfo 吗
作者:尹航 作为业内首个全托管 Istio 兼容的阿里云服务网格产品 ASM,一开始从架构上就保持了与社区、业界趋势的一致性,控制平面的组件托管在阿里云侧,与数据面侧的用户集群独立。ASM 产品是基于社区 Istio 定制实现的,在托管的控制面侧提供了用于支撑精细化的流量管理和安全管理的组件能力。通过托管模式,解耦了 Istio 组件与所管理的 K8s 集群的生命周期管理,使得架构更加...

你的Sleep服务会梦到服务网格外的bookinfo吗
前言 作为业内首个全托管Istio兼容的阿里云服务网格产品ASM,一开始从架构上就保持了与社区、业界趋势的一致性,控制平面的组件托管在阿里云侧,与数据面侧的用户集群独立。ASM产品是基于社区Istio定制实现的,在托管的控制面侧提供了用于支撑精细化的流量管理和安全管理的组件能力。通过托管模式,解耦了Istio组件与所管理的K...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。