使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由
Prefill/Decode分离架构（PD分离），是当前主流的LLM推理优化技术，通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上，避免资源争抢，从而显著降低TPOT，提升系统吞吐。本文以Qwen3-32B模型为例，演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务配置推理路由。
通过ALB使用Gateway API暴露服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍如何通过ALB使用Gateway API来暴露服务至集群外部。
在ACK集群中使用Gateway with Inference Extension路由外部MaaS服务
当 ACK 集群对接外部 MaaS 服务（如百炼）时，为统一处理 API 密钥和请求路径，可基于AI推理网关（Gateway with Inference Extension），配置路由规则（HTTPRoute），实现请求凭证的自动注入及URL重写，从而快速集成模型服务。
通过Gateway with Inference Extension访问服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍Gateway with Inference Extension支持的一些Gateway API基础能力配置方法。
ACK集群巡检CoreDNS服务后端服务器数不为0
ACK集群巡检的检测项“CoreDNS服务后端服务器数不为0”无风险，视为“合规”。规则通过获取最后一次巡检报告结果作为检测依据，如果集群未开通巡检配置评估为“不适用”；如果集群开通了配置，但是运行的巡检任务不存在或者运行最后一次任务未结束，评估为“无数据”。
【K8S系列】深入解析有状态服务
1 基本介绍在 Kubernetes 中，有状态服务可以使用 StatefulSet 来进行部署和管理。StatefulSet 可以确保有状态服务的有序部署和缩放，并在节点失败时自动重新启动实例。与 Deployment 不同，StatefulSet 提供了稳定的网络标识符和稳定的存储卷名称，以确保有状态服务在重新调度后仍能够保持其身份和数据。以下是有状态服务在 Kubernetes 中的一些重....
【K8S系列】第七讲：有状态服务 VS 无状态服务
序言： 昨天有位大佬，问这个问题 ………………………………………………决定学习之后，有了这篇文章.1.无状态服务介绍1.数据方面：无状态服务不会在本地存储持久化数据.多个实例可以共享相同的持久化数据2.结果方面：多个服务实例对于同一个用户请求的响应结果是完全一致的3.关系方面：这种多服务实例之间是没有依赖关系4.影响方面：在k8s控制器 中动态启停无状态服务的pod并不会对其它的.....
K8s 应用管理之道 - 有状态服务
背景 用户通过 Deployment、ReplicationController 可以方便地在 kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据，通过简单的负载均衡策略可实现请求分发。随着 k8s 的普及和云原生架构的兴起，越来越多的人希望把数据库这类有状态服务也通过 k8s 进行编排。但因为有状态服务的复杂性，这一过程并不容易。本文将以最流行的开源数据....
K8S有状态服务-OSS存储使用最佳实践
OSS介绍： 阿里云对象存储服务（OSS）提供海量、安全、低成本、高可靠的云存储服务。适用于配置文件、图片、小视频等共享业务； 容器服务访问OSS 数据是通过 ossfs 把 bucket 挂载到本地文件系统中，容器中的应用通过本地文件系统操作OSS上的数据，实现数据的访问、共享。 使用OSS卷挂载时： 随机或者追加写文件会导致整个文件的重写。 元数据操作，例如list directory，性.....
K8S有状态服务-云盘扩容解决方案
介绍 使用云盘创建有状态服务时往往有一个痛点：开始申请云盘的时候不能准确估计服务能用多大存储空间，申请的云盘在服务运行一段时间后空间不够使用！！ 本文介绍容器服务使用云盘时，如果进行磁盘扩容； 建议在扩容数据盘之前手动创建快照，以备份数据。 云盘扩容参考文档：https://help.aliyun.com/document_detail/25452.html 创建服务 参考动态云盘服务创建步骤：....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
容器服务Kubernetes版服务相关内容
- 容器服务Kubernetes版服务实战
- 容器服务Kubernetes版服务访问
- 容器服务Kubernetes版服务证书
- 容器服务Kubernetes版服务伸缩
- 容器服务Kubernetes版服务安装
- 容器服务Kubernetes版服务策略
- 容器服务Kubernetes版学习服务伸缩
- 容器服务Kubernetes版学习服务伸缩vpa
- 容器服务Kubernetes版服务数据
- 访问容器服务Kubernetes版服务
- 容器服务Kubernetes版服务排查
- 容器服务Kubernetes版服务nodeport
- 容器服务Kubernetes版headless服务
- 容器服务Kubernetes版服务负载均衡
- 容器服务Kubernetes版服务无状态
- 容器服务Kubernetes版服务pv
- 容器服务Kubernetes版服务异常
- 容器服务Kubernetes版健康检查服务
- 容器服务Kubernetes版serverless服务
- 容器服务Kubernetes版实战服务
- 容器服务Kubernetes版托管服务
- 容器服务Kubernetes版服务责任
- ack服务容器服务Kubernetes版
- 容器服务服务容器服务Kubernetes版
- 容器服务Kubernetes版服务ip
- kubernetes容器服务Kubernetes版服务
- 容器服务Kubernetes版版本服务
- 容器服务Kubernetes版edge服务
- ack容器服务Kubernetes版服务
- 同步容器服务Kubernetes版服务
容器服务Kubernetes版更多服务相关
- nacos容器服务Kubernetes版服务功能
- 容器服务Kubernetes版服务功能
- mse nacos容器服务Kubernetes版服务
- 容器服务Kubernetes版服务信息
- serverless容器服务Kubernetes版服务
- 容器服务Kubernetes版类型服务
- 容器服务Kubernetes版service服务
- 托管容器服务Kubernetes版服务
- 容器服务Kubernetes版服务容器
- 容器服务Kubernetes版集群服务注册
- 容器服务Kubernetes版服务反向代理
- 容器服务Kubernetes版服务实践
- 容器服务Kubernetes版服务存储
- 容器服务Kubernetes版实践服务
- 容器服务Kubernetes版服务svc
- 容器服务Kubernetes版服务笔记
- 是用容器服务Kubernetes版服务
- 容器服务Kubernetes版k8s集群服务
- 容器服务Kubernetes版服务pod挂载pvc
- 容器服务Kubernetes版服务文件
- 容器服务Kubernetes版服务应用发布
- 容器服务Kubernetes版负载均衡服务访问
- 容器服务Kubernetes版ingress grpc服务
容器服务Kubernetes版您可能感兴趣
- 容器服务Kubernetes版gpu
- 容器服务Kubernetes版共享
- 容器服务Kubernetes版ack
- 容器服务Kubernetes版cd
- 容器服务Kubernetes版推理
- 容器服务Kubernetes版ai
- 容器服务Kubernetes版算力
- 容器服务Kubernetes版idc
- 容器服务Kubernetes版profiling
- 容器服务Kubernetes版大模型
- 容器服务Kubernetes版deployment
- 容器服务Kubernetes版prometheus
- 容器服务Kubernetes版kubectl
- 容器服务Kubernetes版helm
- 容器服务Kubernetes版ecs
- 容器服务Kubernetes版ip
- 容器服务Kubernetes版dashboard
- 容器服务Kubernetes版电子
- 容器服务Kubernetes版mse
- 容器服务Kubernetes版eci
- 容器服务Kubernetes版devops
- 容器服务Kubernetes版ask
- 容器服务Kubernetes版configmap
- 容器服务Kubernetes版dns
- 容器服务Kubernetes版linux
- 容器服务Kubernetes版flannel
- 容器服务Kubernetes版jenkins
- 容器服务Kubernetes版hpa
- 容器服务Kubernetes版storageclass
- 容器服务Kubernetes版secret
