在ACK集群中使用Gateway with Inference Extension路由外部MaaS服务
当 ACK 集群对接外部 MaaS 服务(如百炼)时,为统一处理 API 密钥和请求路径,可基于AI推理网关(Gateway with Inference Extension),配置路由规则(HTTPRoute),实现请求凭证的自动注入及URL重写,从而快速集成模型服务。
使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由
Prefill/Decode分离架构(PD分离),是当前主流的LLM推理优化技术,通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上,避免资源争抢,从而显著降低TPOT,提升系统吞吐。本文以Qwen3-32B模型为例,演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务。
通过ALB使用Gateway API暴露服务
Gateway API是Kubernetes官方项目,是下一代Kubernetes路由和负载均衡API,支持通过Gateway API配置流量规则。本文介绍如何通过ALB使用Gateway API来暴露服务至集群外部。
通过ALB使用Gateway API暴露服务
Gateway API是Kubernetes官方项目,是下一代Kubernetes路由和负载均衡API,支持通过Gateway API配置流量规则。本文介绍如何通过ALB使用Gateway API来暴露服务至集群外部。
通过Gateway with Inference Extension访问服务
Gateway API是Kubernetes官方项目,是下一代Kubernetes路由和负载均衡API,支持通过Gateway API配置流量规则。本文介绍Gateway with Inference Extension支持的一些Gateway API基础能力配置方法。
请问容器服务ACK使用alb ingress的时候访问依赖服务,怎么拿到ecs ip?
请问容器服务ACK使用alb ingress的时候访问依赖服务,依赖服务拿到的是ip是pod ip,怎么拿到ecs ip?
群晖部署容器魔方并结合内网穿透实现远程访问本地服务
本文主要介绍如何在群辉7.2版本中使用Docker安装容器魔方,并结合Cpolar内网穿透工具实现远程访问本地网心云容器魔方界面. 容器魔方是由网心云推出的一款Docker容器镜像软件,通过简单安装后即可快速加入网心云共享计算生态网络,为网心科技星域云贡献带宽和存储资源,用户根据每日的贡献量可获得相应的收益。 目前支持:iStoreOS、Koolshare LEDE、群晖、树莓派...
容器服务ACK通过ingress 访问的服务,怎么停服务好些啊?
容器服务ACK通过ingress 访问的服务,怎么停服务好些啊?直接修改ingress 的域名方式可以吗?
容器服务怎么通过端口转发方式访问 Jupyter 服务
通过端口转发方式访问 [backcolor=transparent]Jupyter 服务具有以下优点,但是设置较复杂。 您不需要购买负载均衡实例,可以节省您的费用。您不需要在官网上开放端口即可从外部访问 [backcolor=transparent]Jupyter 服务。 下面的示例假设通过本地的 12345 端口进行转发 SSH 访问您的 [backcolor=transparent]Jupy....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
容器更多服务相关
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
+关注