配置连接池实现熔断功能
熔断是一种流量管理的策略，用于在系统出现故障或超负荷的情况下，保护系统免受进一步的损害。在传统的Java服务中，使用Resilience4j等框架可以实现熔断功能。然而，与传统方式相比，Istio的熔断功能在网络级别提供支持，不需要在每个服务的应用程序代码中进行集成。您可以通过配置连接池来实现熔断功能，提高系统的稳定性和可靠性，保护目标服务免受异常请求的影响。
多集群场景下启用ASM本地集群内流量保持功能
当使用ASM管理多个集群时，一个服务的工作负载可能会同时部署在多个集群中。访问服务时，流量默认在多集群之间进行负载均衡。若您希望访问服务时，流量只保持在本集群中，可以使用集群内流量保持功能。以Bookinfo应用为例，本文介绍如何在多集群场景下启用ASM本地集群内流量保持功能。
在ASM中实现LLM请求缓存功能
LLM应用在提供强大功能的同时，往往也伴随着巨大的计算成本和延迟。为了解决这些问题，提高模型调用效率并降低延迟，越来越多的LLM应用开始采用缓存。LLM Cache通过在一定期间内存储和重用LLM的计算结果，可以大幅减少重复计算，优化响应时间，从而提升整体系统性能。本文将介绍如何在服务网格 ASM（Service Mesh）中快速接入LLM Cache。
使用ASM回退功能构建高可用的LLM服务
在LLM场景中，业务应用需要对接内部或外部的基础模型服务。服务网格 ASM（Service Mesh）支持同时对接多个基础模型服务，并且可以实现当一个模型服务不可用时，自动回退到另一个模型服务，助力企业实现LLM应用的高可用。本文介绍如何在对接LLM服务时使用流量回退功能。
如何使用优雅下线功能避免流量损失
ASM网关在缩容或滚动重启时，会删除网关Pod而导致少量流量损失。启用优雅下线功能后，即使删除网关Pod，现有连接在一定时间内仍能正常传输，流量将不会有损失。本文介绍如何使用优雅下线功能。
阿里云服务网格ASM的流量标签及路由功能之(4): 基于ASM实现全链路灰度发布
当您需要在多个服务间实现全链路的灰度发布时，可以通过配置TrafficLabel来识别流量特征，将网关入口流量分为正常流量和灰度流量。灰度流量特征会在请求调用链经过的各个服务间进行传递，从而实现全链路灰度发布。本文介绍如何通过TrafficLabel能力来实现微服务的全链路灰度发布。 前提条件 已创建ASM企业版或旗舰版实例，且版本为v1.17.2.22或以上。具体操作，请参见创建ASM...
阿里云服务网格ASM的流量标签及路由功能之(3): 泳道模式下的流量管理
本文介绍如何在ASM中使用泳道模式下的流量管理功能。具体关于ASM中的全链路灰度相关概念可以参考https://help.aliyun.com/document_detail/375313.html。 前提条件 已创建ASM企业版或旗舰版实例，且版本为v1.17.2.22或以上。具体操作，请参见创建ASM实例。 已创建ACK集群, 并已添加集群到ASM实例。具体操作，请参见添加集群到A...
阿里云服务网格ASM的流量标签及路由功能之(2): 基于流量标签的路由规则
通过流量标签CRD（TrafficLabel） 定义了用户自定义的流量标签, 例如asm-labels-test，其取值范围为test1、test2、test3等。为支持基于标签的路由能力, 还需要创建相应的目标规则DestinationRule和虚拟服务VirtualService，才能将流量根据标签路由到对应的工作负载。 定义目标规则和...
阿里云服务网格ASM的流量标签及路由功能之(1): 流量标签定义
在服务网格ASM中，流量标签是指将流量进行标记以便进行更细致的流量控制和管理。通过为应用服务之间的流量请求打上特定的标签，可以将它们划分到不同的服务或者版本中，并根据标签来进行流量控制、熔断降级、限流等操作。 服务网格ASM新增扩展了流量标签TrafficLabel 自定义资源CRD。 通过该CRD定义具体的流量标签逻辑，实现为命名空间、工作负载进行设置流量标签。 TrafficLabel ...
服务网格ASM使用FAQ之(2)：使用ASM实现服务慢启动模式以支持预热功能
背景在未启用慢启动预热能力时， 每当新目标Pod加入时，请求方都会向该Pod发送一定比例的流量， 不支持新 Pod 的渐进式流量增加。这对于需要一些预热时间来提供全部负载的服务可能是不可取的，并且可能会导致请求超时、数据丢失和用户体验恶化。作为一个实际示例，上述问题体现在基于 JVM 的 Web 应用程序中，这些应用程序使用水平 pod 自动缩放。当服务刚启动时，它会被大量请求淹没，这会导致应用....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云微服务引擎 MSE
微服务引擎 MSE是一个面向业界主流开源微服务生态的一站式微服务平台，提供注册&配置中心全托管、云原生网关和无侵入的开源增强服务治理能力。在这里我们可以分享关于微服务、MSE的一切。
+关注