阿里云文档 2025-12-25

为PD分离推理服务配置弹性伸缩策略

在Prefill-Decode(PD)分离的LLM推理架构中,Prefill和Decode阶段的资源需求差异巨大,传统的CPU/GPU利用率指标无法有效指导弹性伸缩。本方案以Dynamo框架为例,介绍如何利用KEDA,根据NATS消息队列的积压情况,为Prefill角色配置独立的弹性伸缩策略,实现资源按需分配,优化服务成本与性能。

阿里云文档 2025-12-22

DescribePolicyGovernanceInCluster:查询集群策略治理的审计日志与违规情况-容器服务 Kubernetes 版 ACK-阿里云

ACK集群容器安全策略供了种类丰富的内置规则库,包括Compliance、Infra、K8s-general和PSP,旨在确保容器在生产环境中的安全运行。您可以调用DescribePolicyGovernanceInCluster接口,查询目标集群策略治理的详细信息,例如集群当前启用的不同等级策略计数统计、策略治理审计日志、拦截和告警情况等。

阿里云文档 2025-12-22

调用DeletePolicyInstance删除策略规则实例-容器服务 Kubernetes 版 ACK-阿里云

您可以调用DeletePolicyInstance接口,在指定集群中删除策略规则实例。

阿里云文档 2025-12-22

调用DeployPolicyInstance API部署策略规则实例-容器服务 Kubernetes 版 ACK-阿里云

您可以在ACK集群中选择安全策略类型,配置策略实例的治理动作(告警或拦截)、作用的命名空间范围等,以创建并部署一个策略实例。您可以调用DeployPolicyInstance接口,在指定集群的命名空间中部署策略规则实例。

阿里云文档 2025-06-09

使用Gateway with Inference Extension实现生成式AI推理服务灰度发布

通过Gateway with Inference Extension组件,您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新,将服务中断的时间降至最低。本文介绍如何使用Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。

文章 2023-12-20 来自:开发者社区

云原生|kubernetes|networkPolicy网络策略详解

前言:networkPolicy是kubernetes集群的一个重要安全特性。顾名思义,网络策略,控制网络流量的一个资源。那么,kubernetes集群的网络是由docker虚拟网卡,cni网络插件,flannel网络插件(也可能会使用calico,weaver等等其它网络插件)这些模块组成的。主要还是基于Linux内核层面的iptables或者ipvs通过上述的网络插件使得整个集群的网络成为网....

文章 2023-12-19 来自:开发者社区

云原生|kubernetes|kubernetes的etcd集群备份策略

前言:etcd作为集群的关键组件之一,还是非常有必要进行定期备份的,本例将会就如何更快更好的备份etcd以及应该有哪些策略做一解析。(二进制部署的etcd集群)备份什么数据和恢复什么数据?etcd的数据默认会存放在 /var/lib/etcd/member/,我们发现数据所在的目录,会被分为两个文件夹中:snap: 存放快照数据,etcd防止WAL文件过多而设置的快照,存储etcd数据状态。那么....

文章 2023-12-19 来自:开发者社区

云原生|kubernetes |一文带你搞懂pod调度策略,驱逐策略,污点、容忍调度

前言:kubernetes集群不是简单的安装部署就完事了,还需要根据业务的性质设定一些策略,比如,某些pod不希望被调度到硬件条件比较差的节点,某些pod又希望调度到含有比如有特定的硬件GPU的节点上。又或者某个节点由于硬件资源比如CPU,内存并没有彻底耗尽,但如果在继续调度pod到此节点有造成集群崩溃的风险,如何阻止并驱逐此节点在运行的pod,以及集群需要检修或者重建某个节点,此时的节点上运行....

文章 2022-11-08 来自:开发者社区

云原生|kubernetes |一文带你搞懂pod调度策略,驱逐策略,污点、容忍调度(三)

(2)亲和性pod调度pod和node节点标签之间的定向调度上面的定向调度还是比较粗糙的方式,因为如果我们设置了定向调度,但标签忘记打了,或者标签写错了,nodeSelector又设置了,那么部署将会变成pending。无疑,我们还是希望每次的部署都是成功的,因此,我们需要一种或者几种更为精细的pod调度。a)NodeAffinity(节点亲和性)pod.spec.affinity.nodeAf....

文章 2022-11-08 来自:开发者社区

云原生|kubernetes |一文带你搞懂pod调度策略,驱逐策略,污点、容忍调度(二)

关于污点的小结:污点存在的意义:使用 kubectl taint 命令可以给某个 node节点设置污点,Node 被设置上污点之后就和 Pod 之间存在了一种互斥的关系,可以让 Node 拒绝 Pod 的调度执行,甚至将 Node 已经存在的 Pod 驱逐出去:key=value:effect 通过给节点设置不同的污点,可以制定一个总的策略,例如,新节点使用effect NoExecute,那么....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注