阿里云文档 2025-02-07

使用ASM配置集群内LLM服务负载均衡与流量管理

针对部署在Kubernetes集群中的LLM推理服务,由于LLM推理流量和工作负载的特殊性,经典的负载均衡方法效果不佳,且无法从日志和监控指标中获取LLM推理相关信息。本文将介绍如何在服务网格ASM中为vLLM推理服务声明推理服务池和路由定义,以提升负载均衡性能,并实现推理流量的路由和可观测性。

阿里云文档 2025-01-14

ACS集群支持通过哪些Annotation配置网络型负载均衡NLB

您可以通过YAML配置中的Annotation(注解)实现丰富的负载均衡功能。网络型负载均衡NLB(Network Load Balancer)是阿里云推出的新一代四层负载均衡,支持超高性能和自动弹性能力。本文从NLB、监听和服务器组三种资源维度介绍通过Annotation可以对NLB进行的常见配置...

文章 2024-12-05 来自:开发者社区

slb配置健康检查

在阿里云中,Server Load Balancer (SLB) 服务提供健康检查功能来确保只有健康的后端服务器(ECS实例)接收流量。当某台ECS实例出现故障时,SLB会自动将流量重定向到其他健康的实例上,从而提高了系统的可靠性和可用性。 配置SLB的健康检查步骤如下: 登录到阿里云控制台: 打开浏览器并访问阿...

文章 2024-11-27 来自:开发者社区

slb配置健康检查域名

在阿里云的负载均衡(SLB)服务中,配置健康检查时使用域名而不是IP地址是一种常见的做法。这样做可以让健康检查更加灵活,尤其是在后端服务器的IP发生变化时,无需重新配置健康检查规则。下面是基于阿里云SLB如何配置健康检查域名的基本步骤: 登录阿里云控制台:首先,你需要通过你的账户登录到...

文章 2024-11-27 来自:开发者社区

slb何时需要配置健康检查域名

在使用阿里云的服务器负载均衡(SLB)服务时,配置健康检查域名通常是在以下情况下需要考虑的: 应用服务器对Host头有校验要求:如果您的后端应用服务器配置了对HTTP请求中的Host头部进行校验,并且要求该头部必须存在或包含特定的值,那么您就需要配置健康检查域名。当健康检查发起时,SL...

阿里云文档 2024-11-25

ALB配置安全组实现黑白名单访问策略

安全组是一种虚拟防火墙,通过其规则控制应用型负载均衡ALB实例出/入方向流量。如果您需要拒绝或允许特定IP访问ALB实例,可以使用ALB安全组功能来实现流量访问控制。通过配置ALB安全组,您可以创建黑白名单的访问策略,以便对流量进行更精确的控制。

阿里云文档 2024-11-25

ALB配置安全组实现基于监听/端口粒度的访问控制

为了提高云上流量入口安全性,如果您需要对ALB进行基于协议/端口/IP的访问控制,可以通过为ALB实例配置安全组来实现。相较于ACL,ALB通过安全组能实现更全面的访问控制,不仅能配置基于协议/端口的访问控制,而且支持IPv6地址类型的访问控制策略。

文章 2024-11-20 来自:开发者社区

slb配置健康检查

阿里云的负载均衡(Server Load Balancer,简称SLB)提供了一种健康检查机制,用于确保流量只被转发到健康的后端服务器。这样可以避免请求发送到已经出现故障的服务器上,从而提高系统的可靠性和用户体验。以下是配置SLB健康检查的一般步骤: 健康检查的基本概念 健康检查路径:指定一个URL...

文章 2024-11-08 来自:开发者社区

SLB-Backend多实例部署配置健康检查

在使用负载均衡(如阿里云的SLB)时,配置健康检查是非常重要的一个步骤。健康检查可以确保只有健康的后端服务器(即能够正常响应请求的服务器)接收流量,从而提高服务的稳定性和可用性。下面是配置SLB-Backend多实例部署健康检查的一般步骤: 1. 登录到阿里云控制台 首先,你需要登录到...

阿里云文档 2024-11-04

配置和管理健康检查

您可以在配置服务器组时开启健康检查功能来判断后端服务器的可用性,您也可以根据业务需求修改后端服务器组的健康检查配置。本文介绍如何配置和管理健康检查的相关步骤。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

飞天洛神云网络

阿里云飞天洛神云网络

+关注