基于请求队列、KVCache以及LoRA感知等多维度的智能路由与流量管理
针对部署在Kubernetes集群中的LLM推理服务，由于LLM推理流量和工作负载的特殊性，经典的负载均衡方法效果不佳，且无法从日志和监控指标中获取LLM推理相关信息。本文将介绍如何在服务网格ASM中为vLLM推理服务声明推理服务池和路由定义，以提升负载均衡性能，并实现推理流量的路由和可观测性。
ASM助力进口电商龙头实现高级灰度发布
微服务架构往往面临服务之间的复杂依赖关系和运行环境的多样性。有效监控和管理这些服务的健康状态是确保业务连续性和性能的关键。通过部署服务级别监控和管理机制，可以及时识别并解决服务故障，从而减少对用户体验的影响。
基于虚拟服务配置的渐进式迁移实践：Istio集群至ASM集群的平滑切换
场景介绍 在上云的浪潮中，许多企业选择将业务从自建的Istio+k8s环境迁移到阿里云的服务网格ASM（Alibaba Cloud Service Mesh）和ACK（Alibaba Cloud Container Service Kubernetes）环境中。这种迁移不仅能够充分利用阿里云的托管服务优势，还能显著提升资源利用率和运维效率。 然而，在实际迁移过程中，由于网络限制、...
使用ASM回退功能构建高可用的LLM服务
在LLM场景中，业务应用需要对接内部或外部的基础模型服务。服务网格 ASM（Service Mesh）支持同时对接多个基础模型服务，并且可以实现当一个模型服务不可用时，自动回退到另一个模型服务，助力企业实现LLM应用的高可用。本文介绍如何在对接LLM服务时使用流量回退功能。
使用ASM出口网关访问外部mTLS服务
服务网格 ASM（Service Mesh）出口网关作为网格内流量的统一出口，可以执行TLS/mTLS请求的发起，进而实现全链路的加密通信。同时，出口网关也可以执行丰富的安全策略，实现更加精细的访问控制。在服务网格中，出口网关是实现出口流量管理的最佳方案。本文将介绍如何使用ASM出口网关管理出口流量并发起mTLS通信。
在ASM入口网关上配置mTLS服务并限制特定客户端访问
ASM网关支持对外提供mTLS服务。mTLS协议要求客户端提供自身证书，证书中包含了用户的身份信息。您可以在授权策略中配置只有特定的用户才可以成功访问该服务，进而为服务提供更加高级别的保护。本文将介绍如何在ASM入口网关上配置mTLS服务，并且通过授权策略实现对特定用户的访问限制。
阿里服务的ASM、MSE和ARMS都有其各自的应用场景
在KubeVela中，阿里服务的ASM、MSE和ARMS都有其各自的应用场景。 ASM（Alibaba Service Mesh）是一种服务网格平台，它主要应用于微服务架构中，能够提供流量管理、安全访问控制和可观察性等能力。这些能力可以帮助开发者构建高性能、可扩展和安全的微服务应用。MSE（MagicSphere...
你的Sleep服务会梦到服务网格外的bookinfo吗
前言服务网格是一个通过“Sidecar”模式进行服务治理简化的平台。整个服务网格可以划分为包括核心组件Istiod的“控制面”以及包括了每个服务的Sidecar的“数据面”。如果各位使用过服务网格，相信对上面的概念也算是略有了解了。在服务网格Istio中，我们知道每个Sidecar都是一个envoy应用，内部有着包含着listener、route、cluster、secret等部分的完整配置；e....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云微服务引擎 MSE
微服务引擎 MSE是一个面向业界主流开源微服务生态的一站式微服务平台，提供注册&配置中心全托管、云原生网关和无侵入的开源增强服务治理能力。在这里我们可以分享关于微服务、MSE的一切。
+关注