使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由
Prefill/Decode分离架构（PD分离），是当前主流的LLM推理优化技术，通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上，避免资源争抢，从而显著降低TPOT，提升系统吞吐。本文以Qwen3-32B模型为例，演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务配置推理路由。
在ACK集群中使用Gateway with Inference Extension路由外部MaaS服务
当 ACK 集群对接外部 MaaS 服务（如百炼）时，为统一处理 API 密钥和请求路径，可基于AI推理网关（Gateway with Inference Extension），配置路由规则（HTTPRoute），实现请求凭证的自动注入及URL重写，从而快速集成模型服务。
通过ALB使用Gateway API暴露服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍如何通过ALB使用Gateway API来暴露服务至集群外部。
通过ALB使用Gateway API暴露服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍如何通过ALB使用Gateway API来暴露服务至集群外部。
通过Gateway with Inference Extension访问服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍Gateway with Inference Extension支持的一些Gateway API基础能力配置方法。
有了容器化，还有必要制作 system service 来启动服务吗？
即使有了容器化技术，制作 systemd 等系统服务来启动容器化服务仍然是有意义且在很多场景下是必要的。以下是几个主要原因： 系统整合与统一管理： 使用 systemd 等系统服务管理器将容器化服务作为系统服务启动，可以让它们融入到主机操作系统的标准服务管理体系中。这样，您可以使用熟悉的 systemctl start/sto...
容器服务ACK文档中说service，可以路由到NodePort服务，具体怎么做？
容器服务ACK文档中说LoadBalancer的service，可以路由到NodePort服务也可以路由到ClusterIP服务，具体怎么做？https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/use-services-to-expose-applications?spm=a2c4g.11186623.0....
云原生之容器编排实践-以k8s的Service方式暴露SpringBoot服务
背景上一篇文章云原生之容器编排实践-SpringBoot应用以Deployment方式部署到minikube以及弹性伸缩中，我们通过 Deployment 完成了将 SpringBoot 应用部署到 minikube 并测试了其弹性伸缩的丝滑体验。但是 Deployment 部署后我们还面临以下问题：访问时需要先进行端口转发每次只能访问一个Pod，不支持负载均衡将请求路由至不同的PodPod重新....
docker容器中启动service服务 Failed to get D-Bus connection: Operation not permitted
解决方案： 启动时设置参数 --privileged 使用该参数，container内的root拥有真正的root权限。否则，container内的root只是外部的一个普通用户权限 本文转自 Mr_sheng 51CTO博客，原文链接:http://blog.51cto.com/sf1314/1981247
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
容器更多服务相关
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注