使用eRDMA网络进行分布式训练
弹性RDMA（eRDMA）是阿里云自研的云上弹性RDMA网络，可显著降低节点间通信延迟。PAI通用计算资源中的部分GPU机型已支持eRDMA，使用特定镜像提交DLC任务时，系统会自动挂载eRDMA网卡，加速分布式训练。
使用灵骏智算资源提交DLC任务时配置高性能网络变量和镜像
大模型AI并行计算需要通过降低通信量、计算与通信交叠、提升通信效率来优化性能。RDMA（远程直接内存访问）可显著降低网络延迟，适用于灵骏智算资源上的分布式训练任务。
阿里云机器学习平台PAI与香港大学合作论文入选INFOCOM 2022，有效减少大规模神经网络训练时间
近日，阿里云机器学习平台 PAI 与香港大学吴川教授团队合作的论文”Efficient Pipeline Planning for Expedited Distributed DNN Training”入选 INFOCOM（IEEE International Conference on Computer Communications） 2022，论文提出了一个支持任意网络拓扑的同步流水线并行训....
谷歌开源大规模神经网络模型高效训练库 GPipe
雷锋网(公众号：雷锋网) AI 科技评论按：谷歌昨日在博客中宣布开源大规模神经网络模型高效训练库 GPipe，这是一款分布式机器学习库，可以让研究员在不调整超参数的情况下，部署更多的加速器以对大规模模型进行训练，有效扩展了模型性能。雷锋网 AI 科技评论对此进行编译如下。 深度神经网络（DNNs）推进诸多机器学习任务的进步，其中包括语音识别、视觉识别和语言处理等。BigGan、Bert 、G...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
