文章 2025-03-13 来自:开发者社区

打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度

【阅读原文】戳:打破资源边界、告别资源浪费:ACK One多集群Spark和AI作业调度   概述       在云原生时代,随着业务的发展(如业务遍布全球、已达单一集群承载上限)、容灾需求的迫切、安全合规的要求等原因,越来越多的用户采用多Kubernetes集群来承载业务。而在Kubernetes...

打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
阿里云文档 2025-03-12

实现应用Pod与缓存数据之间的亲和性调度

通过Fluid提供的数据缓存亲和性调度优化能力,您可以设置应用Pod上的亲和性配置,让应用Pod优先访问同节点、同可用区节点或同地域节点的缓存数据,从而提高应用Pod访问数据的效率。

文章 2025-03-04 来自:开发者社区

Koordinator v1.6: 支持AI/ML场景的异构资源调度能力

【阅读原文】戳:Koordinator v1.6: 支持AI/ML场景的异构资源调度能力 本文作者: 王建宇、曾凡松、宋涛、韩柔刚       背景       随着DeepSeek等大模型的火爆,AI和高性能计算领域对异构设备资源调度的...

Koordinator v1.6: 支持AI/ML场景的异构资源调度能力
阿里云文档 2025-02-10

ACK集群上实现Slurm HPC & Kubernetes负载混合调度

本文介绍了Slurm HPC与Kubernetes融合的负载调度策略,旨在通过优化资源配置与作业调度机制,不仅能提升计算资源的利用率,还增强了系统整体的稳定性和运行效能。此方案确保在满足多种计算场景需求的同时,为您构建一个更为高效且灵活的计算平台。

阿里云文档 2025-01-13

升级共享GPU调度组件ack-ai-installer

当您的集群已经安装共享GPU调度组件,但节点GPU驱动版本与集群中已存在的cGPU版本不兼容,或者节点操作系统版本与集群中已存在的cGPU版本不兼容时,您需要将共享GPU调度组件升级到最新版本。

文章 2024-12-09 来自:开发者社区

【AI系统】计算图的调度与执行

在前面的内容介绍过,深度学习的训练过程主要分为以下三个部分:1)前向计算、2)计算损失、3)更新权重参数。在训练神经网络时,前向传播和反向传播相互依赖。对于前向传播,沿着依赖的方向遍历计算图并计算其路径上的所有变量。然后将这些用于反向传播,其中计算顺序与计算图的相反。 基于计算图的 AI 框架中,训练的过程阶段中,会统一表示为由基础算子构成的计算图,算子属于计算图中的一个节点,由具体的后端硬件进....

【AI系统】计算图的调度与执行
文章 2024-12-05 来自:开发者社区

【AI系统】计算与调度

上一篇我们了解了什么是算子,神经网络模型中由大量的算子来组成,但是算子之间是如何执行的?组成算子的算法逻辑跟具体的硬件指令代码之间的调度是如何配合? 计算与调度 计算与调度的来源 图像处理在当今物理世界中是十分基础且开销巨大的计算应用。图像处理算法在实践中需要高效的实现,尤其是在功耗受限的移动设备上。随着算法和计算硬件的不断发...

【AI系统】计算与调度
文章 2024-06-18 来自:开发者社区

内附原文|SIGMOD’24:百万核的智能调度,云数仓如何结合AI处理用户混合负载

1. 引言 日前,2024年数据库领域顶会ACM SIGMOD/PODS会议在智利圣地亚哥举行,来自阿里云瑶池数据库团队的论文《Flux: Decoupled Auto-Scaling for Heterogeneous Query Workload in Alibaba AnalyticDB》成功入选SIGMOD Industrial Track(工业赛道)。 云数据...

内附原文|SIGMOD’24:百万核的智能调度,云数仓如何结合AI处理用户混合负载
问答 2024-01-17 来自:开发者社区

AI Earth 当前资源池里有哪些型号的,是固定型号的,还是每次调度型号可能不一样呢?

AI Earth 当前资源池里有哪些型号的,是固定型号的,还是每次调度型号可能不一样呢?

文章 2024-01-10 来自:开发者社区

第五届电力调度AI应用大赛圆满落幕!

电力市场出清速度有了新纪录。12月27日,中国南方电网第五届电力调度AI应用大赛在广州圆满落幕。清华大学代表队以满分成绩夺冠,依托”云+AI“技术,将出清整体流程控制在600秒内,效率提高了近50%。出清,指的是供需关系均衡。随着电力市场化交易深化推进,光伏、储能和虚拟电厂等新型主体陆续加入,电力作为商品如何快速出清备受行业关注。2022年7月,由南方电网主导成立的南方区域电力市场启动,成为全国....

第五届电力调度AI应用大赛圆满落幕!

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"阿里云 AI","productDescription":"从 AI 应用构建,模型部署到训练,一站式了解阿里云经典的 AI 应用场景和解决方案。","productContentLink":"https://www.aliyun.com/solution/tech-solution/ai","isDisplayProductIcon":true,"productButton1":{"productButtonText":"查看详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/ai"},"productButton2":{"productButtonText":"联系 AI 专家","productButtonLink":"https://page.aliyun.com/form/act933288178/index.htm?spm=5176.29311086.J_RY_4Q8--sru4dMV7o3lqS.2.22ec5297YL7w86"},"productButton3":{"productButtonText":"立即体验","productButtonLink":"https://bailian.console.aliyun.com/?spm=5176.28326591.0.0.56136ee1bpor89#/efm/model_experience_center"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"热门体验","productPromotionInfoFirstText":"文生文应用","productPromotionInfoFirstLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.1.22ec52978mJi5p#/home","productPromotionInfoSecondText":"文生图应用","productPromotionInfoSecondLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.2.22ec52978mJi5p#/efm/model_experience_center?modelId=wanx-v1"},{"$id":"1","productPromotionGroupingTitle":"热门产品","productPromotionInfoFirstText":"大模型服务平台百炼","productPromotionInfoFirstLink":"https://www.aliyun.com/product/bailian","productPromotionInfoSecondText":"人工智能平台 PAI","productPromotionInfoSecondLink":"https://www.aliyun.com/product/bigdata/learn"},{"$id":"2","productPromotionGroupingTitle":"技术解决方案","productPromotionInfoFirstText":"向量检索与通义千问搭建专属问答服务","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/dashvector","productPromotionInfoSecondText":"创意加速器:AI 绘画创作","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/tongyi-wanxiang"},{"$id":"3","productPromotionGroupingTitle":"热门模型","productPromotionInfoFirstText":"通义千问","productPromotionInfoFirstLink":"https://tongyi.aliyun.com","productPromotionInfoSecondText":"通义万相","productPromotionInfoSecondLink":"https://tongyi.aliyun.com/wanxiang"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityPromotionInfoBlock":[]}}

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注