使用ACK Gateway with Inference Extension实现生成式AI推理服务灰度发布
通过ACK Gateway with Inference Extension组件，您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新，将服务中断的时间降至最低。本文介绍如何使用ACK Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。
使用ACK Gateway with Inference Extension实现智能路由与流量管理
针对Kubernetes集群中的LLM推理服务，经典负载均衡方法往往基于简单的流量分配，无法处理LLM推理过程中的复杂请求和动态流量负载。本文介绍如何使用ACK Gateway with Inference Extension组件配置推理服务扩展，以实现智能路由和高效流量管理。
使用VPC方式加速拉取AI容器镜像
ACS容器镜像提供的是标准的Internet服务，您在ACS云产品上启动任务时需要通过公网拉取镜像，镜像拉取费时较多。目前ACS云产品提供了IN-VPC的镜像访问服务，在适用的场景下建议您尽量使用IN-VPC的方式，加速拉取AI容器镜像。
阿里云向全球客户推出创新容器计算服务ACS，可降低算力成本高达55%
阿里巴巴集团的数字技术与智能骨干业务阿里云今日宣布于2025年1月在全球市场推出创新的阿里云容器计算服务（Alibaba Cloud Container Compute Service, ACS），旨在利用容器技术优化工作负载部署。 ACS 以 Kubernetes 为使用界面的无伺服器容器服务，提供符合容器标准的算力资源。ACS令用户无需管理底层节点和集群，显著降低了与容器部...
阿里云容器计算服务ACS ，更普惠易用、更柔性、更弹性的容器算力
本文整理自瑶靖、智清在2024年云栖大会的演讲 更普惠易用、更柔性、更弹性的容器算力 ACS是容器服务团队面向Serverless场景推出的子产品。它基于K8s的使用界面，提供符合容器规范的CPU及GPU算力资源。容器算力交付模式为 Serverless形态，您无需关注底层节点及集群的运维管理。只需要按需申请使用，秒级按量付费。 我们期望打造...
阿里云容器计算服务ACS ，更普惠易用、更柔性、更弹性的容器算力
【阅读原文】戳：阿里云容器计算服务ACS ，更普惠易用、更柔性、更弹性的容器算力 本文整理自瑶靖、智清在2024年云栖大会的演讲 01 更普惠易用、更柔性、更弹性的容器算力 ...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注