基于请求队列、KVCache以及LoRA感知等多维度的智能路由与流量管理
针对部署在Kubernetes集群中的LLM推理服务，由于LLM推理流量和工作负载的特殊性，经典的负载均衡方法效果不佳，且无法从日志和监控指标中获取LLM推理相关信息。本文将介绍如何在服务网格ASM中为vLLM推理服务声明推理服务池和路由定义，以提升负载均衡性能，并实现推理流量的路由和可观测性。
ASM助力进口电商龙头实现高级灰度发布
微服务架构往往面临服务之间的复杂依赖关系和运行环境的多样性。有效监控和管理这些服务的健康状态是确保业务连续性和性能的关键。通过部署服务级别监控和管理机制，可以及时识别并解决服务故障，从而减少对用户体验的影响。
使用ASM回退功能构建高可用的LLM服务
在LLM场景中，业务应用需要对接内部或外部的基础模型服务。服务网格 ASM（Service Mesh）支持同时对接多个基础模型服务，并且可以实现当一个模型服务不可用时，自动回退到另一个模型服务，助力企业实现LLM应用的高可用。本文介绍如何在对接LLM服务时使用流量回退功能。
使用ASM出口网关访问外部mTLS服务
服务网格 ASM（Service Mesh）出口网关作为网格内流量的统一出口，可以执行TLS/mTLS请求的发起，进而实现全链路的加密通信。同时，出口网关也可以执行丰富的安全策略，实现更加精细的访问控制。在服务网格中，出口网关是实现出口流量管理的最佳方案。本文将介绍如何使用ASM出口网关管理出口流量并发起mTLS通信。
在ASM入口网关上配置mTLS服务并限制特定客户端访问
ASM网关支持对外提供mTLS服务。mTLS协议要求客户端提供自身证书，证书中包含了用户的身份信息。您可以在授权策略中配置只有特定的用户才可以成功访问该服务，进而为服务提供更加高级别的保护。本文将介绍如何在ASM入口网关上配置mTLS服务，并且通过授权策略实现对特定用户的访问限制。
利用服务网格实现全链路mTLS（二）：通过出口网关访问外部mTLS服务
阿里云服务网格（Service Mesh，简称ASM）提供一个全托管式的服务网格平台，兼容社区Istio开源服务网格，用于简化服务的治理，包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力，从而极大地减轻开发与运维的工作负担。 ASM出口网关作为网格内流量的统一出口，可以执行TLS/mTLS发起，进而实现全链路的加密通信。同时，出口网关也可以执行丰富的安全策略...
利用服务网格实现全链路mTLS（一）：在入口网关上提供mTLS服务
阿里云服务网格（Service Mesh，简称ASM）提供一个全托管式的服务网格平台，兼容社区Istio开源服务网格，用于简化服务的治理，包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力，从而极大地减轻开发与运维的工作负担。 ASM网关支持对外提供mTLS服务。mTLS要求客户端提供自身证书，该证书中包含了用户的身份信息。您可以在授权策略中配置只有特定的用户...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云微服务引擎 MSE
微服务引擎 MSE是一个面向业界主流开源微服务生态的一站式微服务平台，提供注册&配置中心全托管、云原生网关和无侵入的开源增强服务治理能力。在这里我们可以分享关于微服务、MSE的一切。
+关注