使用eRDMA网络进行分布式训练
弹性RDMA(eRDMA)是阿里云自研的云上弹性RDMA网络,可显著降低节点间通信延迟。PAI通用计算资源中的部分GPU机型已支持eRDMA,使用特定镜像提交DLC任务时,系统会自动挂载eRDMA网卡,加速分布式训练。
使用灵骏智算资源提交DLC任务时配置高性能网络变量和镜像
大模型AI并行计算需要通过降低通信量、计算与通信交叠、提升通信效率来优化性能。RDMA(远程直接内存访问)可显著降低网络延迟,适用于灵骏智算资源上的分布式训练任务。
RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
一、本文介绍 本文记录的是基于 EfficientNet v2 的 RT-DETR轻量化改进方法研究。EfficientNet v2针对EfficientNet v1存在的训练瓶颈,如大图像尺寸训练慢、早期深度卷积层速度慢以及等比例缩放各阶段非最优等情况进行改进,以实现训练速度快、参数效率高和泛化能力好的优势,将其应用到RT-DETR中有望提升模型整体性能,在保证精度的同时降低模型复杂度和训练时....
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
一、本文介绍 本文记录的是基于 EfficientNet v2 的 YOLOv11 轻量化改进方法研究。EfficientNet v2针对EfficientNet v1存在的训练瓶颈,如大图像尺寸训练慢、早期深度卷积层速度慢以及等比例缩放各阶段非最优等情况进行改进,以实现训练速度快、参数效率高和泛化能力好的优势,将其应用到YOLOv11中有望提升模型整体性能,在保证精度的同时降低模型复杂度和训练....
阿里AAAI2018论文解读:轻量网络训练框架、GAN中文命名实体识别、英俄翻译等
1. 火箭发射:一种有效的轻量网络训练框架《Rocket Launching: A Universal and Efficient Framework for Training Well-performing Light Net》 【团队名称】阿里妈妈事业部 【作者】周国睿、范颖、崔润鹏、卞维杰、朱小强、盖坤 【论文简介】像点击率预估这样的在线实时响应系统对响应时间要求非常严格,结构复杂,层数很....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。