使用ACK Gateway with Inference Extension实现生成式AI推理服务灰度发布
通过ACK Gateway with Inference Extension组件,您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新,将服务中断的时间降至最低。本文介绍如何使用ACK Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。
使用ACK Gateway with Inference Extension实现生成式AI推理服务灰度发布
通过ACK Gateway with Inference Extension组件,您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新,将服务中断的时间降至最低。本文介绍如何使用ACK Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。
安装并使用HistoryServer组件
Ray原生Dashboard仅在集群运行时可用,集群终止后用户无法获取历史日志与监控数据。为解决此问题,本文介绍了RayCluster HistoryServer功能,其在集群运行期间实时采集节点日志并持久化存储至OSS,支持集群回收后仍可查询历史记录。
在ACK中安装KubeRay组件
本文将指导您在ACK托管集群Pro版上部署KubeRay Operator组件,并集成阿里云日志服务SLS与Prometheus监控,从而增强日志管理、系统可观测性及高可用性。通过Kubernetes自定义资源(CR),您可高效管理Ray集群与应用。
基于ACK集群的Dify组件升级指南
本文主要指导用户将ack-dify从旧版本升级至v1.0.0及以上,首先备份数据,然后通过命令提取并安装插件迁移工具至插件系统,最后验证插件功能是否正常运行,以启用新的插件生态系统。
ACK Gateway with AI Extension:大模型推理的模型灰度实践
【阅读原文】戳:ACK Gateway with AI Extension:大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载智能感知的负载均衡能力。此外,通过InferencePool和InferenceModel自定义资源(CRD),可以灵活定义推理服务的...

ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践
【阅读原文】戳:ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践 在当今大语言模型(LLM)推理场景中,Kubernetes已经成为LLM推理服务部署不可获取的基础设施,但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性,传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
【阅读原文】戳:打破资源边界、告别资源浪费:ACK One多集群Spark和AI作业调度 概述 在云原生时代,随着业务的发展(如业务遍布全球、已达单一集群承载上限)、容灾需求的迫切、安全合规的要求等原因,越来越多的用户采用多Kubernetes集群来承载业务。而在Kubernetes...

NVIDIA NIM on ACK:优化生成式AI模型的部署与管理
【阅读原文】戳:NVIDIA NIM on ACK:优化生成式AI模型的部署与管理 NVIDIA NIM是一套易于使用的微服务,旨在加速在云、数据中心和工作站等不同环境中部署生成式AI模型。然而,在Kubernetes(K8s)环境下,使用NIM部署推理服务时,我们仍然需要更多的服务化管理能力,以及针对具体场景的最佳实践。例如,弹性伸缩配置、提高弹性效率和冷启动速度、实现流量控...

带你读《阿里云产品六月刊》——十六、任意门基于 ACK 云原生 AI 套件打造人工智能社交网络平台
客户介绍 Soul是任意门旗下基于兴趣图谱和游戏化玩法的社交App,是为新一代年轻人而设的虚拟社交平台。Soul App基于用户的社交画像和兴趣图谱,通过机器学习为用户推荐志趣相投的伙伴,支持丰富的AI业务场景,包括语音匹配、聊天机器人、文本OCR识别、图像识别、多模态等。 业务挑战 AI机器学习是公司核心业务,但在传统的虚拟机部署方式下,缺乏一个统一的管控平台,导致业务...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。
+关注