为PD分离推理服务配置弹性伸缩策略
在Prefill-Decode（PD）分离的LLM推理架构中，Prefill和Decode阶段的资源需求差异巨大，传统的CPU/GPU利用率指标无法有效指导弹性伸缩。本方案以Dynamo框架为例，介绍如何利用KEDA，根据NATS消息队列的积压情况，为Prefill角色配置独立的弹性伸缩策略，实现资源按需分配，优化服务成本与性能。
调用CreateAutoscalingConfig接口创建弹性伸缩配置-容器服务 Kubernetes 版 ACK-阿里云
您可以创建自动弹性伸缩配置，让系统能够按照配置的伸缩规则自动增加或减少计算资源，满足您的集群工作负载的需求。创建过程中，您可以指定扩缩容的度量指标和阈值、扩容顺序、静默时间等。
将DeepSeek-R1部署至ECI并实现弹性伸缩
本文以部署DeepSeek-R1-Distill-Qwen-7B模型为例，演示如何使用DataCache快速部署DeepSeek-R1系列模型，同时通过配置HPA实现基于自定义指标的弹性扩缩容。
使用ASM指标实现工作负载的自动弹性伸缩
服务网格 ASM（Service Mesh）为ACK集群和ACS集群内的服务通信提供了一种非侵入式的生成遥测数据的能力。这种遥测功能提供了服务行为的可观测性，可以帮助运维人员对应用程序进行故障排除、维护和优化，而不会带来任何额外负担。根据监控的四个黄金指标维度（延迟、流量、错误和饱和度），ASM为管理的服务生成一系列指标。本文介绍如何使用ASM指标实现工作负载的自动弹性伸缩。
如何基于容器网络流量指标进行弹性伸缩
基于容器网络流量指标进行弹性伸缩可以帮助你根据实际的网络负载动态调整容器资源，以提高系统的性能和资源利用率。以下是实现的步骤： 一、选择监控工具 首先，你需要选择一个能够监控容器网络流量的工具。一些常见的选择包括 Prometheus 和 Grafana 的组合、Datadog、New Relic 等。这些工具可以收集和存储容器网络流量指标，并提供...
容器服务ACK买集群选了节点，然后手动加了几台主机进去，弹性伸缩就无法自动扩容了，怎么回事？
容器服务ACK买集群选了节点，然后手动加了几台主机进去，弹性伸缩就无法自动扩容了，怎么回事？
云原生之容器编排实践-SpringBoot应用以Deployment方式部署到minikube以及弹性伸缩
背景在实际生产环境下，我们更多的是使用 yaml 描述文件来启动一个 Pod ，并设置 kind 属性值为 Deployment 类型。Deployment使用 Deployment 来部署应用，重点关注其可以实现应用服务的动态扩缩容。需要注意的是：应用本身需要支持水平伸缩。 Kubernetes 并不会让你的应用变得可扩展，它只是让应用的扩缩容变得简单。yaml[root@k8s0 ~]# v....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注