使用估算模式的前缀缓存感知路由能力
通过Gateway with Inference Extension组件,您可以根据生成式AI推理服务的不同使用场景、指定使用推理服务路由的不同负载均衡策略。本文介绍如何使用Gateway with Inference Extension组件实现估算模式的前缀缓存感知路由。
使用精准模式的前缀缓存感知路由能力
精准模式的前缀缓存感知路由专为生成式AI推理场景设计,基于KV Cache事件感知推理引擎中KV Cache的分布,动态分配请求至最优计算节点,可以显著提升大语言模型(LLM)服务效率。本文介绍如何使用Gateway with Inference Extension组件实现精准模式的前缀缓存感知路由能力。
【产品变更】关于新建Service与Nginx Ingress Controller默认负载均衡类型变更的公告
因传统型负载均衡CLB按规格计费停止售卖,容器服务 Kubernetes 版自2025年09月11日起,通过控制台新建负载均衡类型的Service与新安装Nginx Ingress Controller时,将默认使用NLB实例。同时,通过控制台创建CLB实例类型的Service转为白名单开放。对于仍需创建CLB的场景,将默认使用按使用量计费模式。
【产品变更】关于新建Service默认负载均衡类型与计费方式变更的公告
因传统型负载均衡CLB按规格计费停止售卖,容器计算服务ACS自2025年09月11日起,通过控制台新建负载均衡类型的Service时,将默认使用NLB实例,CLB实例转为白名单开放;对于仍需创建CLB的场景,将默认使用按使用量计费模式。
停止售卖阿里云轻量负载均衡实例、轻量容器服务、轻量数据库服务和组合套餐
尊敬的阿里云用户,阿里云将于2025年07月21日起停止售卖阿里云轻量负载均衡实例、轻量容器服务、轻量数据库服务和组合套餐。
请问容器服务ACK使用alb ingress的时候访问依赖服务,怎么拿到ecs ip?
请问容器服务ACK使用alb ingress的时候访问依赖服务,依赖服务拿到的是ip是pod ip,怎么拿到ecs ip?
容器服务ACK这个文档里面的alb ingress配置健康检查,和ALB后面挂载的后端服务器组
请教一个容器服务ACK问题,这个文档里面的alb ingress配置健康检查,和ALB后面挂载的后端服务器组的健康检查,指的是不是一个内容?https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/advanced-alb-ingress-configurations?spm=a2c4g.11186623.0.....
在容器服务ACK中,如果你想更改ALB Ingress的域名和端口
在容器服务ACK中,如果你想更改ALB Ingress的域名和端口,你需要在你的Ingress的YAML文件中添加相应的配置。具体来说,你需要添加一个hosts字段,其中包含你想要设置的域名,以及一个secretName字段,用于指定你的TLS证书的名称。例如: apiVersion: extens...
容器服务ACK的 alb ingress 如何实现ip白名单访问控制?
容器服务ACK的 alb ingress 如何实现ip白名单访问控制?即 nginx.ingress.kubernetes.io/whitelist-source-range: xxx 的平替是?
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。