使用eRDMA网络进行分布式训练
弹性RDMA（eRDMA）是阿里云自研的云上弹性RDMA网络，可显著降低节点间通信延迟。PAI通用计算资源中的部分GPU机型已支持eRDMA，使用特定镜像提交DLC任务时，系统会自动挂载eRDMA网卡，加速分布式训练。
使用灵骏智算资源提交DLC任务时配置高性能网络变量和镜像
大模型AI并行计算需要通过降低通信量、计算与通信交叠、提升通信效率来优化性能。RDMA（远程直接内存访问）可显著降低网络延迟，适用于灵骏智算资源上的分布式训练任务。
深度学习网络训练，Loss出现Nan的解决办法
前言 模型的训练不是单纯的调参，重要的是能针对出现的各种问题提出正确的解决方案。本文就训练网络loss出现Nan的原因做了具体分析，并给出了详细的解决方案，希望对大家训练模型有所帮助。 一、原因 一般来说，出现NaN有以下几种情况： 如果在迭代的100轮数以内，出现...
神经网络训练loss不下降原因以及解决办法
train loss与test loss结果分析train loss 不断下降，test loss不断下降，说明网络仍在学习; 在训练过程中loss可能会出现几次震荡现象，但是整体有上升趋势就说明网络还在学习，可以继续训练。train loss 不断下降，test loss趋于不变，说明网络过拟合过拟合最直观的表现就是 training accuracy ....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
