使用eRDMA网络进行分布式训练
弹性RDMA（eRDMA）是阿里云自研的云上弹性RDMA网络，可显著降低节点间通信延迟。PAI通用计算资源中的部分GPU机型已支持eRDMA，使用特定镜像提交DLC任务时，系统会自动挂载eRDMA网卡，加速分布式训练。
使用灵骏智算资源提交DLC任务时配置高性能网络变量和镜像
大模型AI并行计算需要通过降低通信量、计算与通信交叠、提升通信效率来优化性能。RDMA（远程直接内存访问）可显著降低网络延迟，适用于灵骏智算资源上的分布式训练任务。
深度学习入门：使用 PyTorch 构建和训练你的第一个神经网络
深度学习入门：使用 PyTorch 构建和训练你的第一个神经网络 引言 深度学习是机器学习的一个分支，它利用多层非线性处理单元（即神经网络）来解决复杂的模式识别问题。PyTorch 是一个强大的深度学习框架，它提供了灵活的 API 和动态计算图，非常适合初学者和研究者使用。 安装 PyTorch 确保安装了 Py...
【PyTorch实战演练】使用Cifar10数据集训练LeNet5网络并实现图像分类（附代码）
0. 前言 按照国际惯例，首先声明：本文只是我自己学习的理解，虽然参考了他人的宝贵见解，但是内容可能存在不准确的地方。如果发现文中错误，希望批评指正，共同进步。 本文是基于PyTorch框架使用LeNet5网络实现图像分类的实战演练，训练的数据集采用Cifar10，旨在通过实操强化对深度学习尤其是卷积神经元网络的理解。 本文是一个完整的保姆...
PyTorch 深度学习实战 |用 TensorFlow 训练神经网络
为了更好地理解神经网络如何解决现实世界中的问题，同时也为了熟悉 TensorFlow 的 API，本篇我们将会做一个有关如何训练神经网络的练习，并以此为例，训练一个类似的神经网络。我们即将看到的神经网络，是一个预训练好的用于对手写体数字（整数）图像进行识别的神经网络，它使用了 MNIST 数据集( http://yann.lecun.com/exdb/mnist/ )，这是一个经常被用于研究模式....
Pytorch 保存和提取训练好的神经网络
在pytorch中，保存神经网络用方法：torch.save(net, 'net.pkl')提取神经网络用方法：torch.load('net.pkl')保存神经网络有两种方式：1、保存整个网络torch.save(net, 'net.pkl')这种方法能最大程度的保留网络的所有信息，缺点是读取网络时速度稍慢2、保存网络的状态信息torch.save(net.state_dict(), 'net....
【PyTorch基础教程25】用Pytorch训练快速神经网络的9个技巧
事实上，你的模型可能还停留在石器时代的水平。估计你还在用32位精度或GASP（一般活动仿真语言） 训练，甚至可能只在单GPU上训练。如果市面上有99个加速指南，但你可能只看过1个？（没错，就是这样）。但这份终极指南，会一步步教你清除模型中所有的（GP模型）。这份指南的介绍从简单到复杂，一直介绍到你可以完成的大多数PITA修改，以充分利用你的网络。例子中会包括一些Pytorch代码和相关标记，可以....
送你9个快速使用Pytorch训练解决神经网络的技巧（附代码）
来源：读芯术 文章来源：微信公众号 数据派THU 本文为大家介绍9个使用Pytorch训练解决神经网络的技巧 图片来源：unsplash.com/@dulgier 事实上，你的模型可能还停留在石器时代的水平。估计你还在用32位精度或GASP（一般活动仿真语言）训练，甚至可能只在单GPU上训练。如果市面上有99个加速指南，但你可能只看过1个？（没错，就是这样）。但这份终极指南，会一步步教你清除...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
