容器服务Kubernetes版智能的相关内容

阿里云文档 2025-04-22

使用ACK Gateway with Inference Extension实现推理服务的请求熔断

ACK Gateway with Inference Extension组件支持在开启推理服务智能负载均衡的同时配置熔断规则。当服务出现异常时，熔断机制可以自动切断有问题的服务连接，防止故障蔓延。本文介绍如何使用ACK Gateway with Inference Extension为推理服务配置流量熔断规则。

阿里云文档 2025-04-22

使用ACK Gateway with Inference Extension实现推理服务的流量镜像

ACK Gateway with Inference Extension组件在支持推理服务智能负载均衡的同时，也支持推理请求的流量镜像功能。在生产环境中部署新推理模型时，您可以通过流量镜像复制生产流量来评估新模型的表现，确保其性能和稳定性符合要求之后再正式上线。本文介绍如何使用ACK Gateway with Inference Extension来实现推理请求的流量镜像。

阿里云文档 2025-04-22

使用ACK Gateway with Inference Extension实现智能路由与流量管理

针对Kubernetes集群中的LLM推理服务，经典负载均衡方法往往基于简单的流量分配，无法处理LLM推理过程中的复杂请求和动态流量负载。本文介绍如何使用ACK Gateway with Inference Extension组件配置推理服务扩展，以实现智能路由和高效流量管理。

阿里云文档 2025-04-11

在ACK托管集群（智能模式）中部署工作负载并实现负载均衡

本文介绍如何在ACK托管集群（智能模式）中部署一个工作负载，并通过ALB Ingress实现公网访问。完成后，您可以通过设定的域名访问该应用，实现外部流量的高效管理和负载均衡。

文章 2025-03-17 来自：开发者社区

ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

文章 2025-03-08 来自：开发者社区

使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由

【阅读原文】戳：使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由背景介绍 1. QwQ-32B模型阿里云最新发布的QwQ-32B模型，通过强化学习大幅度提升了模型推理能力。QwQ-32B模型拥有320亿参数，其性能可以与DeepSeek-R1 671B媲美。模型数学代码等核心指标（...

问答 2024-08-28 来自：开发者社区

阿里云容器服务ACK的智能化升级如何降低容器技术的使用门槛？

问答 2024-08-28 来自：开发者社区

阿里云容器服务ACK的智能化升级中，新一代调度系统Koordinator的主要作用是什么？

文章 2024-08-22 来自：开发者社区

玩转Kubernetes集群：掌握节点和Pod自动扩缩容，让你的系统更智能、更高效！

集群节点和Pod的自动扩缩容是Kubernetes核心功能之一，能够根据系统负载自动调整资源，保证系统的稳定性和高可用性。本文将介绍Kubernetes如何实现集群节点和Pod的自动扩缩容。一、集群节点自动扩缩容节点自动扩缩容的原理Kubernetes集群中的节点自动扩缩容是通过集群资源调度器（Scheduler）和控制器管理器ÿ...

问答 2024-07-04 来自：开发者社区