使用ASM回退功能构建高可用的LLM服务
在LLM场景中，业务应用需要对接内部或外部的基础模型服务。服务网格 ASM（Service Mesh）支持同时对接多个基础模型服务，并且可以实现当一个模型服务不可用时，自动回退到另一个模型服务，助力企业实现LLM应用的高可用。本文介绍如何在对接LLM服务时使用流量回退功能。
使用ASM构建分布式系统的容错能力
分布式系统存在高度复杂性的特点，在基础设施、应用逻辑、运维流程等环节都可能存在稳定性风险而导致业务系统的失效。因此构建一个具有容错能力的分布式系统非常重要。本文介绍如何通过ASM设置超时、重试、隔板和熔断机制构建分布式系统的容错能力。
使用ASM构建分布式系统的容错能力
分布式系统存在高度复杂性的特点，在基础设施、应用逻辑、运维流程等环节都可能存在稳定性风险而导致业务系统的失效。因此构建一个具有容错能力的分布式系统非常重要。本文介绍如何通过ASM设置超时、重试、隔板和熔断机制构建分布式系统的容错能力。
如何构建Sidecarless模式的高性能服务网格
构建Sidecarless模式的高性能服务网格需要考虑以下关键步骤： 设计服务接口和协议： 在服务网格中，每个服务都应该有一个清晰定义的接口，以及一个用于通信的协议。HTTP/2和gRPC是常见的选择，它们都支持高效的二进制数据传输和多路复用。实现服务发现： 服务发现是服务网格中的重要组成部分。你可以使用DN...
如何构建 Sidecarless 模式的高性能服务网格
作者：王夕宁 阿里云服务网格负责人，以下内容基于 2023 全球软件工程创新技术峰会的演讲内容整编而成01 服务网格数据面的演进以 Istio 为代表的 Service Mesh 技术已经存在四五年的时间了，阿里云也是第一批支持 Service Mesh 云服务的厂商。在 Service Mesh 技术中，通过把服务治理的能力进行 Sidecar 化，实现与应用程序本身的解耦。这些若干个 Sid....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
