阿里云文档 2025-04-29

使用ACK Gateway with Inference Extension实现生成式AI推理服务灰度发布

通过ACK Gateway with Inference Extension组件,您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新,将服务中断的时间降至最低。本文介绍如何使用ACK Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。

阿里云文档 2025-04-25

使用ACK Gateway with Inference Extension实现生成式AI推理服务灰度发布

通过ACK Gateway with Inference Extension组件,您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新,将服务中断的时间降至最低。本文介绍如何使用ACK Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。

阿里云文档 2025-04-22

安装并使用HistoryServer组件

Ray原生Dashboard仅在集群运行时可用,集群终止后用户无法获取历史日志与监控数据。为解决此问题,本文介绍了RayCluster HistoryServer功能,其在集群运行期间实时采集节点日志并持久化存储至OSS,支持集群回收后仍可查询历史记录。

阿里云文档 2025-04-14

在ACK中安装KubeRay组件

本文将指导您在ACK托管集群Pro版上部署KubeRay Operator组件,并集成阿里云日志服务SLS与Prometheus监控,从而增强日志管理、系统可观测性及高可用性。通过Kubernetes自定义资源(CR),您可高效管理Ray集群与应用。

阿里云文档 2025-04-02

基于ACK集群的Dify组件升级指南

本文主要指导用户将ack-dify从旧版本升级至v1.0.0及以上,首先备份数据,然后通过命令提取并安装插件迁移工具至插件系统,最后验证插件功能是否正常运行,以启用新的插件生态系统。

文章 2025-03-18 来自:开发者社区

ACK Gateway with AI Extension:大模型推理的模型灰度实践

【阅读原文】戳:ACK Gateway with AI Extension:大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资源(CRD),可以灵活定义推理服务的...

ACK Gateway with AI Extension:大模型推理的模型灰度实践
文章 2025-03-17 来自:开发者社区

ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳:ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践 在当今大语言模型(LLM)推理场景中,Kubernetes已经成为LLM推理服务部署不可获取的基础设施,但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性,传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践
文章 2025-03-13 来自:开发者社区

打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度

【阅读原文】戳:打破资源边界、告别资源浪费:ACK One多集群Spark和AI作业调度   概述       在云原生时代,随着业务的发展(如业务遍布全球、已达单一集群承载上限)、容灾需求的迫切、安全合规的要求等原因,越来越多的用户采用多Kubernetes集群来承载业务。而在Kubernetes...

打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
文章 2025-02-07 来自:开发者社区

NVIDIA NIM on ACK:优化生成式AI模型的部署与管理

【阅读原文】戳:NVIDIA NIM on ACK:优化生成式AI模型的部署与管理 NVIDIA NIM是一套易于使用的微服务,旨在加速在云、数据中心和工作站等不同环境中部署生成式AI模型。然而,在Kubernetes(K8s)环境下,使用NIM部署推理服务时,我们仍然需要更多的服务化管理能力,以及针对具体场景的最佳实践。例如,弹性伸缩配置、提高弹性效率和冷启动速度、实现流量控...

NVIDIA NIM on ACK:优化生成式AI模型的部署与管理
文章 2024-07-17 来自:开发者社区

带你读《阿里云产品六月刊》——十六、任意门基于 ACK 云原生 AI 套件打造人工智能社交网络平台

客户介绍 Soul是任意门旗下基于兴趣图谱和游戏化玩法的社交App,是为新一代年轻人而设的虚拟社交平台。Soul App基于用户的社交画像和兴趣图谱,通过机器学习为用户推荐志趣相投的伙伴,支持丰富的AI业务场景,包括语音匹配、聊天机器人、文本OCR识别、图像识别、多模态等。 业务挑战 AI机器学习是公司核心业务,但在传统的虚拟机部署方式下,缺乏一个统一的管控平台,导致业务...

带你读《阿里云产品六月刊》——十六、任意门基于 ACK 云原生 AI 套件打造人工智能社交网络平台

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"阿里云 AI","productDescription":"从 AI 应用构建,模型部署到训练,一站式了解阿里云经典的 AI 应用场景和解决方案。","productContentLink":"https://www.aliyun.com/solution/tech-solution/ai","isDisplayProductIcon":true,"productButton1":{"productButtonText":"查看详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/ai"},"productButton2":{"productButtonText":"联系 AI 专家","productButtonLink":"https://page.aliyun.com/form/act933288178/index.htm?spm=5176.29311086.J_RY_4Q8--sru4dMV7o3lqS.2.22ec5297YL7w86"},"productButton3":{"productButtonText":"立即体验","productButtonLink":"https://bailian.console.aliyun.com/?spm=5176.28326591.0.0.56136ee1bpor89#/efm/model_experience_center"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"热门体验","productPromotionInfoFirstText":"文生文应用","productPromotionInfoFirstLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.1.22ec52978mJi5p#/home","productPromotionInfoSecondText":"文生图应用","productPromotionInfoSecondLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.2.22ec52978mJi5p#/efm/model_experience_center?modelId=wanx-v1"},{"$id":"1","productPromotionGroupingTitle":"热门产品","productPromotionInfoFirstText":"大模型服务平台百炼","productPromotionInfoFirstLink":"https://www.aliyun.com/product/bailian","productPromotionInfoSecondText":"人工智能平台 PAI","productPromotionInfoSecondLink":"https://www.aliyun.com/product/bigdata/learn"},{"$id":"2","productPromotionGroupingTitle":"技术解决方案","productPromotionInfoFirstText":"向量检索与通义千问搭建专属问答服务","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/dashvector","productPromotionInfoSecondText":"创意加速器:AI 绘画创作","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/tongyi-wanxiang"},{"$id":"3","productPromotionGroupingTitle":"热门模型","productPromotionInfoFirstText":"通义千问","productPromotionInfoFirstLink":"https://tongyi.aliyun.com","productPromotionInfoSecondText":"通义万相","productPromotionInfoSecondLink":"https://tongyi.aliyun.com/wanxiang"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityPromotionInfoBlock":[]}}

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注