使用eRDMA网络进行分布式训练
弹性RDMA（Elastic Remote Direct Memory Access，简称eRDMA）是阿里云自研的云上弹性RDMA网络。PAI通用计算资源中的部分GPU机型已支持eRDMA能力，您只需使用特定镜像提交基于这些GPU机型的DLC任务，系统将自动在容器内挂载eRDMA网卡，从而加速分布式训练过程。
使用灵骏智算资源提交DLC任务时配置高性能网络变量和镜像
在大模型的AI并行计算中，通过降低通信量、计算和通信交叠、提升通信效率来优化计算性能。本文介绍如何使用高性能网络进行配置，以实现上述目标。
ICLR 2024 Oral：用巧妙的传送技巧，让神经网络的训练更加高效
该论文提出了一种新颖的方法来提高神经网络的训练效率，即利用参数对称性进行传送（teleportation）。这一研究由一支优秀的团队完成，他们在论文中详细阐述了如何通过传送来加速神经网络的收敛速度，并改善其泛化能力。 首先，让我们来了解一下参数对称性的概念。在许多神经网络中，不同的参数值可能会导致相...
NeurIPS 2021 | 华为诺亚Oral论文：基于频域的二值神经网络训练方法
二值神经网络（BNN）将原始全精度权重和激活用符号函数表征成 1-bit。但是由于常规符号函数的梯度几乎处处为零，不能用于反向传播，因此一些研究已经提出尝试使用近似梯度来减轻优化难度。然而，这些近似破坏了实际梯度的主要方向。基于此，在一篇 NeurIPS 2021 论文中，来自华为诺亚方舟实验室等机构的研究者提出使用傅里叶级数的组合来估计频域中符号函数的梯度以训练 BNN，即频域逼近 (FDA)....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
