在ACK集群中使用Gateway with Inference Extension路由外部MaaS服务
当 ACK 集群对接外部 MaaS 服务（如百炼）时，为统一处理 API 密钥和请求路径，可基于AI推理网关（Gateway with Inference Extension），配置路由规则（HTTPRoute），实现请求凭证的自动注入及URL重写，从而快速集成模型服务。
使用Gateway with Inference Extension为SGLang PD分离服务配置推理路由
Prefill/Decode分离架构（PD分离），是当前主流的LLM推理优化技术，通过将LLM推理中的两个核心阶段解耦并分开部署在不同GPU上，避免资源争抢，从而显著降低TPOT，提升系统吞吐。本文以Qwen3-32B模型为例，演示如何通过Gateway with Inference Extension为部署在ACK中的SGLang PD分离架构模型推理服务。
通过ALB使用Gateway API暴露服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍如何通过ALB使用Gateway API来暴露服务至集群外部。
通过ALB使用Gateway API暴露服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍如何通过ALB使用Gateway API来暴露服务至集群外部。
通过Gateway with Inference Extension访问服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍Gateway with Inference Extension支持的一些Gateway API基础能力配置方法。
容器化AI模型的安全防护：构建可信的AI服务
在前几篇文章中，我们探讨了AI模型的容器化部署、机器学习流水线的构建、模型的监控与治理以及弹性伸缩。然而，随着AI技术的广泛应用，AI模型的安全问题也日益凸显。恶意攻击者可能利用模型漏洞进行数据窃取、模型窃取、对抗样本攻击等，给企业带来巨大的损失。因此，容器化AI模型的安全防护至关重要。 一、AI模型面临的安全威胁 AI模型在...
容器服务ACK有个小项目，如果用云效的话，构建服务的机器配置是可申请的嘛？
容器服务ACK有个小项目，想试试graalvm做二进制包。镜像制作是一小部分，graalvm的构建太占cpu，想通过ECI来动态申请高配机器做构建，构建后通过kaniko做镜像。如果用云效的话，构建服务的机器配置是可申请的嘛？之前使用ACR做过容器内构建，一个java模块20分钟实在太长
函数计算中，我是用容器镜像构建的服务，执行测试返回提示这个什么原因呢？冷启动吗？
函数计算中，我是用容器镜像构建的服务，执行测试返回提示这个什么原因呢？冷启动吗？
k8s容器云架构之dubbo微服务—K8S(09)交付实战-通过流水线构建dubbo服务
k8s交付实战-流水线构建dubbo服务目录k8s交付实战-流水线构建dubbo服务1 jenkins流水线准备工作1.1 参数构建要点1.2 创建流水线1.2.1 创建流水线1.2.2 添加10个构建参数1.2.3 添加完成效果如下:1.2.4 添加pipiline代码1.3 用流水线完成dubbo-service的构建1.3.1 选择参数化构建1.3.2 填写完成效果如下1.3.3 执行构建....
服务网格 ASM +容器服务 ACK 助力画雕科技构建 IoT 服务管理能力
作者：王夕宁，鼎岳 上海画雕科技有限公司是互联网老匠与一群年轻创业者组成的创新科技公司，通过互联网+智能硬件的物联网生态研发，以安全和覆盖广为特点，全方位为用户提供一站式充电解决方案，进军社区、公共场所、市政合作等市场。并实现以智能充电桩为切入点，通过物理空间入驻小区空间，以小区人群为入口的社区生活服务商城，打通了社区住户200米生活“实惠购物、智享生活”社区智能 生活生态服务平台。 随着业务.....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
容器更多服务相关
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注