文章 2025-02-07 来自:开发者社区

NVIDIA NIM on ACK:优化生成式AI模型的部署与管理

【阅读原文】戳:NVIDIA NIM on ACK:优化生成式AI模型的部署与管理 NVIDIA NIM是一套易于使用的微服务,旨在加速在云、数据中心和工作站等不同环境中部署生成式AI模型。然而,在Kubernetes(K8s)环境下,使用NIM部署推理服务时,我们仍然需要更多的服务化管理能力,以及针对具体场景的最佳实践。例如,弹性伸缩配置、提高弹性效率和冷启动速度、实现流量控...

NVIDIA NIM on ACK:优化生成式AI模型的部署与管理
文章 2024-07-17 来自:开发者社区

带你读《阿里云产品六月刊》——十六、任意门基于 ACK 云原生 AI 套件打造人工智能社交网络平台

客户介绍 Soul是任意门旗下基于兴趣图谱和游戏化玩法的社交App,是为新一代年轻人而设的虚拟社交平台。Soul App基于用户的社交画像和兴趣图谱,通过机器学习为用户推荐志趣相投的伙伴,支持丰富的AI业务场景,包括语音匹配、聊天机器人、文本OCR识别、图像识别、多模态等。 业务挑战 AI机器学习是公司核心业务,但在传统的虚拟机部署方式下,缺乏一个统一的管控平台,导致业务...

带你读《阿里云产品六月刊》——十六、任意门基于 ACK 云原生 AI 套件打造人工智能社交网络平台
问答 2024-06-27 来自:开发者社区

ACK one 能不能用云原生 AI 套件?目前主要是部署模型服务

ACK one 能不能用云原生 AI 套件?目前主要是部署模型服务

文章 2024-04-01 来自:开发者社区

ACK AI 助手 beta 版现已全面上线

结合实际案例分享 K8s 运维/使用经验: * **案例背景**:在一个大型互联网公司,我们使用了 Kubernetes(K8s)来管理数百个微服务。这些服务需要高可用性、弹性伸缩和快速部署。 * **挑战**:随着服务数量的增加,手动管理和监控变得非常困难。此外,当出现问题时...

文章 2024-03-30 来自:开发者社区

如何基于ACK Serverless快速部署AI推理服务

基于ACK Serverless(Alibaba Cloud Kubernetes Serverless Framework)快速部署AI推理服务的步骤如下: 创建函数计算服务: 在阿里云控制台,创建一个函数计算服务,用于托管AI推理服务的代码。编写AI推理代码: 使用适合的编程语言编写AI推理...

如何基于ACK Serverless快速部署AI推理服务
文章 2024-02-20 来自:开发者社区

阿里云容器服务ACK AI助手正式上线带来的便利性

前言 作为开发者想必大家都知道,云原生容器技术的优势,尤其是近两年的随着容器技术的迅猛发展,Kubernetes(K8s)已成为广泛应用于容器编排和管理的领先解决方案,但是K8s的运维复杂度一直是挑战之一。为了应对这一问题,就在最近,阿里云容器服务团队正式发布了ACK AI助手,这是一款旨在通过大模型增强智能诊断的产品,旨在帮助企业和开发者降低Kubernetes(K8s)的运维复杂度。...

阿里云容器服务ACK AI助手正式上线带来的便利性
问答 2024-02-19 来自:开发者社区

阿里云容器服务 ACK AI 助手正式上线,你都有哪些期待?

近阿里云容器服务团队正式发布 ACK AI 助手,带来大模型增强智能诊断,帮助企业和开发者降低 K8s 的运维复杂度。这款国内首家云原生容器场景的原生 AI 产品 —— ACK AI 助手 beta 版现已全面上线。 点击了解及体验ACK AI 助手 beta 版 本期话题: 1、请结合实际案例分享一下你的 K8s 运维/使用经验。 2、你认为ACK AI 助手能够有效降低K8s 的运维复杂度吗....

文章 2024-01-19 来自:开发者社区

阿里云容器服务 ACK AI 助手正式上线

作者:行疾大模型技术的蓬勃发展持续引领 AI 出圈潮流,各行各业都在尝试采用 AI 工具实现智能增效。2023 年云栖大会上,阿里云容器服务团队正式发布 ACK AI 助手,带来大模型增强智能诊断,帮助企业和开发者降低 K8s 的运维复杂度。这款国内首家云原生容器场景的原生 AI 产品 —— ACK AI 助手 beta 版现已全面上线,功能欢迎大家试用。Kubernetes 好似一台复杂的飞机....

阿里云容器服务 ACK AI 助手正式上线
文章 2024-01-10 来自:开发者社区

阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践

作者:霍智鑫众所周知,随着时间的推移,算力成为了 AI 行业演进一个不可或缺的因素。在数据量日益庞大、模型体量不断增加的今天,企业对分布式算力和模型训练效率的需求成为了首要的任务。如何更好的、更高效率的以及更具性价比的利用算力,使用更低的成本来训练不断的迭代 AI 模型,变成了迫切需要解决的问题。而分布式训练的演进很好的体现了 AI 模型发展的过程。Distributed Training分布式....

阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践
文章 2024-01-09 来自:开发者社区

为大模型工程提效,基于阿里云 ACK 的云原生 AI 工程化实践

1.背景以 GPT(Generative Pre-trained Transformer)和 Diffusion model 为代表的大语言模型(Large language model,LLM)和生成式人工智能(Generative artificial intelligence,GAI)在过往两年,将人们对 AI 的梦想与期待推向了一个新高峰。这一次,AI 带来的“智能”效果和“涌现”能力,....

为大模型工程提效,基于阿里云 ACK 的云原生 AI 工程化实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"activityCardStyle","productCardInfo":{"productTitle":"","productDescription":"","productContentLink":"","isDisplayProductIcon":true,"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"AI 编码","activityDescription":"百万 Qwen-coder 大模型 tokens 免费体验,灵码79元起,加速 AI 应用落地 ","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityButton1":{"activityButtonText":"查看详情","activityButtonLink":"https://www.aliyun.com/benefit/scene/coding"},"activityButton2":{"activityButtonText":"立即体验","activityButtonLink":"https://bailian.console.aliyun.com/?spm=5176.30202035.J_VanPN1KXIVRyCVhZMwQ6t.6.1b791e71pokqL0&tab=model#/efm/model_experience_center/text?currentTab=textChat&modelId=qwen3-coder-plus"},"activityButton3":{"activityButtonText":"立即购买","activityButtonLink":"https://www.aliyun.com/benefit/scene/coding#J_1"}}}
AI 编码
百万 Qwen-coder 大模型 tokens 免费体验,灵码79元起,加速 AI 应用落地

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注