基于请求队列、KVCache以及LoRA感知等多维度的智能路由与流量管理
针对部署在Kubernetes集群中的LLM推理服务，由于LLM推理流量和工作负载的特殊性，经典的负载均衡方法效果不佳，且无法从日志和监控指标中获取LLM推理相关信息。本文将介绍如何在服务网格ASM中为vLLM推理服务声明推理服务池和路由定义，以提升负载均衡性能，并实现推理流量的路由和可观测性。
服务网格容灾系列：配置集群高可用应对可用区级故障容灾
可用区级故障是云上业务可能遭遇的一种较为极端的故障类型。当可用区故障发生时，发生故障的可用区内的工作负载都将面临不可用、不可访问或数据错误等风险。本文介绍通过结合阿里云容器服务 Kubernetes 版 ACK（Container Service for Kubernetes）与阿里云服务网格 ASM（Service Mesh），应对可用区级故障容灾。
通过ASM管理ACS集群应用
容器计算服务 ACS（Container Compute Service）是以Kubernetes为使用界面供给容器算力资源的云计算服务，提供符合容器规范的算力资源。算力交付模式为Serverless形态，您无需关注底层节点及集群的运维管理。本文介绍如何在服务网格 ASM（Service Mesh）中管理运行在ACS集群中的应用。
通过ASM多主控制面架构实现多集群容灾
服务网格 ASM（Service Mesh）支持多主控制面架构，即由多个服务网格实例共同管理多个Kubernetes集群的架构模式。多主控制面架构相比单个ASM实例添加多个Kubernetes集群，在配置隔离、配置下发延迟等方面有明显优势，更适用于搭建业务对等部署的多集群容灾方案。本文将介绍如何基于两个ACK集群搭建包含两个ASM实例的多主控制面架构。
管理通过Kubeconfig导入的Kubernetes集群
服务网格 ASM（Service Mesh）支持使用具有集群管理员权限的Kubeconfig来导入任意类型的Kubernetes集群，并对其进行应用管理。本文介绍如何通过向ASM导入Kubeconfig的方式来添加Kubernetes集群。
打造无缝灾备新境界：运用服务网格ASM，将集群外服务无缝融入集群内服务，铸就高可用性坚盾！
随着微服务架构的普及，服务的稳定性和高可用性成为了企业关注的重点。服务网格（Service Mesh）如Istio或阿里巴巴的ASM（Alibaba Service Mesh）作为微服务架构的基石，提供了强大的流量管理、服务发现、安全通信等功能，为构建高可靠性的服务系统提供了强大支持。本文将详细介绍...
如何利用服务网格ASM使用集群外服务做集群内服务的灾备
使用本文前，请完成前两篇文章的步骤： https://developer.aliyun.com/article/1576315 https://developer.aliyun.com/article/1576316 完成后，当前的网络拓扑为： ...
阿里云服务网格ASM多集群实践（二）：高效按需的应用多环境部署与全链路灰度发布
【阅读原文】戳：阿里云服务网格ASM多集群实践（二）：高效按需的应用多环境部署与全链路灰度发布 引言 在变化迅速、应用架构日趋复杂的云原生微服务世界中，管理所有服务的敏捷发布迭代流程、同时为应用构建开发与测试环境成为一项巨大的挑战。 从构建开发与测试环境的角度来说，被广泛采用的部署方式主...
如何通过计算巢在ACK集群上使用Istio服务网格
1. Istio简介 1.1. 概念 Istio 是一个由 Google、IBM 和 Lyft 共同开发的开源服务网格（Service Mesh）项目，旨在简化微服务架构中的服务通信、安全性、可观察性和管理。通过部署 Istio，您可以更好地控制和监视服务之间的流量，并提供强大的安全功能。 Istio提供了以下的关键功能: HTTP/1.1，HTTP/...
阿里云 ASM 如何解决多集群 Istio 资源冲突问题?
阿里云 ASM 如何解决多集群 Istio 资源冲突问题? 如果同名的 Istio 资源,但是内容不同, 会合并还是直接不管?
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
