阿里云文档 2026-03-06

使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由

Prefill/Decode分离架构(PD分离),是当前主流的LLM推理优化技术,通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上,避免资源争抢,从而显著降低TPOT,提升系统吞吐。本文以Qwen3-32B模型为例,演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务配置推理路由。

阿里云文档 2025-10-17

为GPU应用配置节点自动伸缩

在进行AI模型训练、推理或科学计算等GPU计算密集型任务时,工作负载常呈现显著波动,同时GPU硬件成本较高。通过为集群创建支持自动伸缩的GPU节点池,可根据实际资源需求动态增减节点数量,实现按需使用与弹性调度,有效提升GPU资源利用率并降低运维成本。

阿里云文档 2025-09-25

ACK集群巡检APIServer绑定的CLB端口监听配置正常

ACK集群巡检的检测项“APIServer CLB 6443 端口监听配置异常”无风险,视为“合规”。规则通过获取最后一次巡检报告结果作为检测依据,如果集群未开通巡检配置评估为“不适用”;如果集群开通了配置,但是运行的巡检任务不存在或者运行最后一次任务未结束,评估为“无数据”。

阿里云文档 2025-09-25

ACK集群节点池伸缩配置可用性检测

检测ACK集群巡检中的“节点池伸缩配置不可用”风险项。当此巡检项无风险时,视为“合规”。规则通过获取最后一次巡检报告结果作为检测依据,如果集群未开通巡检配置评估为“不适用”。

阿里云文档 2025-09-25

配置混合云节点池DNS解析

混合云节点池如通过云上CoreDNS解析域名,频繁的访问会加重专线负载,还可能出现因专线不稳定导致的域名解析失败,配置NodeLocal DNSCache可减少这些问题的影响。

文章 2022-12-14 来自:开发者社区

kubernetes【工具】kind【2】集群配置

文章目录1. 多节点集群demo2. 定制log3. 集群配置3.1 集群名字3.2 特性门控3.3 Runtime Config3.4 Networking3.5 API Server 配置3.6 Pod Subnet3.7 Service Subnet3.8 Disable Default CNI3.9 kube-proxy mode3.10 Multi-node clusters3.11 ....

文章 2022-02-16 来自:开发者社区

简化Kubernetes应用部署工具-Helm之Release配置

本文讲的是简化Kubernetes应用部署工具-Helm之Release配置【编者的话】微服务和容器化给复杂应用部署与管理带来了极大的挑战。Helm是目前Kubernetes服务编排领域的唯一开源子项目,做为Kubernetes应用的一个包管理工具,可理解为Kubernetes的apt-get / yum,由Deis 公司发起,该公司已经被微软收购。Helm通过软件打包的形式,支持发布的版本管理....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。