如何使用ASM Serverless网关支撑弹性业务场景
ASM Serverless网关是基于虚拟节点和ECI提供的一种Serverless网关形态,用于支撑各种弹性和免节点运维的场景。本文介绍如何使用ASM Serverless网关支撑弹性业务场景。
Multi-LoRA场景下的LLM推理服务灰度策略
在Kubernetes集群中部署大型语言模型(LLM)推理服务时,基于低秩适应LoRA(Low-Rank Adaptation)技术对大模型进行微调并提供定制化推理能力,已成为高效且灵活的最佳实践。本文介绍在服务网格 ASM(Service Mesh)中,如何基于Multi-LoRA的微调LLM推理服务,指定多LoRA模型的流量分发策略,从而实现LoRA模型灰度。
如何使用服务网格实现全方位的流量调度场景
【阅读原文】戳:如何使用服务网格实现全方位的流量调度场景 引言 在分布式系统中,流量的防护与调度是确保系统稳定性的关键。随着微服务架构的普及,服务之间的调用关系变得复杂,任何流量的波动和异常都有可能导致服务失败、雪崩、资源耗尽等等问题。因此,对这些流量进行管理的重要性也愈发凸显,常见...
服务网格容灾系列场景(三):使用服务网格应对服务级故障容灾
【阅读原文】戳:服务网格容灾系列场景(三):使用服务网格应对服务级故障容灾 服务级故障是云上云原生业务可能遭遇到的一类较为常见的故障类型,该类故障通常表现为:在Kubernetes集群中部署一个或多个服务、其部分或全部的工作负载遭遇到了不可用或服务降级的问题。通常来说,故障范围将小于可用区级别,但仍会因为服务单点故障造成业务不可用或降级问题。该类故障产生的原因多种多样...
服务网格容灾系列场景(二):使用服务网格应对可用区级故障容灾
【阅读原文】戳:服务网格容灾系列场景(二):使用服务网格应对可用区级故障容灾 可用区级故障是云上业务可能遭遇的一种较为极端的故障类型。当可用区故障发生时,发生故障的可用区内的工作负载都将面临不可用、不可访问或数据错误等风险,这包括用户自行部署的工作负载、云厂商托管的工作负载等。产生可用区级故障的原因包括但不限于: • 电力供应问题:区域性...
服务网格容灾系列场景(一):使用服务网格应对地域级故障容灾
【阅读原文】戳:服务网格容灾系列场景(一):使用服务网格应对地域级故障容灾 地域级故障是云上业务可能遭遇的一种极端类型的故障。当地域级故障发生时,特定地域下任何可用区内的服务都面临着无法连接、数据丢失以及工作负载无法运行等风险。产生地域级故障的可能原因包括但不限于: • 自然灾害:地震、洪水等灾害可能导致数据中心的结构受损、电力中断等故障。 ...
在链路中透传baggage请求头
您可以使用宽松模式的流量泳道实现应用版本隔离,基于Baggage请求头透传引流请求头,并将流量路由到不同泳道。泳道中服务相互调用时,若目标服务不存在当前泳道则转发至基线泳道,保障链路完整性,简化流量管理。
阿里服务的ASM、MSE和ARMS都有其各自的应用场景
在KubeVela中,阿里服务的ASM、MSE和ARMS都有其各自的应用场景。 ASM(Alibaba Service Mesh)是一种服务网格平台,它主要应用于微服务架构中,能够提供流量管理、安全访问控制和可观察性等能力。这些能力可以帮助开发者构建高性能、可扩展和安全的微服务应用。MSE(MagicSphere...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
阿里云微服务引擎 MSE
微服务引擎 MSE是一个面向业界主流开源微服务生态的一站式微服务平台,提供注册&配置中心全托管、云原生网关和无侵入的开源增强服务治理能力。在这里我们可以分享关于微服务、MSE的一切。
+关注