使用eRDMA网络进行分布式训练
弹性RDMA（eRDMA）是阿里云自研的云上弹性RDMA网络，可显著降低节点间通信延迟。PAI通用计算资源中的部分GPU机型已支持eRDMA，使用特定镜像提交DLC任务时，系统会自动挂载eRDMA网卡，加速分布式训练。
使用灵骏智算资源提交DLC任务时配置高性能网络变量和镜像
大模型AI并行计算需要通过降低通信量、计算与通信交叠、提升通信效率来优化性能。RDMA（远程直接内存访问）可显著降低网络延迟，适用于灵骏智算资源上的分布式训练任务。
【从零开始学习深度学习】36. 门控循环神经网络之长短期记忆网络（LSTM）介绍、Pytorch实现LSTM并进行训练预测
1 长短期记忆介绍 LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。 1.1 输入门、遗忘门和输出门 与门控循环单元中的重置门和更新门一样，如下图所示，长短期记忆的门的输入均为当前时间步输入Xt与...
【从零开始学习深度学习】35. 门控循环神经网络之门控循环单元（gated recurrent unit，GRU）介绍、Pytorch实现GRU并进行训练预测
1. 门控循环单元设计 门控循环单元的设计在原始RNN的基础上引入了重置门（reset gate）和更新门（update gate）的概念，从而修改了循环神经网络中隐藏状态的计算方式。 1.1 重置门和更新门 如下图所示，门控循环单元中的重置门和更新门的输入均为当前时间步输入Xt与上一时间步隐藏状态Ht−1，输出由激活函数为sigmoid函数的全连接层计算得到。 ...
ResNet残差网络Pytorch实现——cifar10数据集训练
✌ 使用ResNet进行对cifar10数据集进行训练import torchvision import torch from torchvision import transforms import os import json import torch.nn as nn import torch.optim as optim from torchvision import transform....
ResNet残差网络Pytorch实现——对花的种类进行训练
✌ 使用ResNet进行对花的种类进行训练import os import json import torch import torch.nn as nn import torch.optim as optim from torchvision import transforms,datasets from tqdm import tqdm # 加载设备，使用cpu还是显卡 device=tor....
手撕Desenet卷积神经网络-pytorch-详细注释版（可以直接替换自己数据集）-直接放置自己的数据集就能直接跑。跑的代码有问题的可以在评论区指出，看到了会回复。训练代码和预测代码均有。
论文链接：https://arxiv.org/pdf/1608.06993.pdf没法下载论文的看我下面的百度云链接，在里面有论文Desenet（Densely Connected Convolutional Networks）,翻译过来就是密集连接的卷积神经网络。Desenet网络是相较于Resnet更为先进的网络，简单来说两者的区别就是，Resnet网络是将前2层，或者前3层之前卷积层获取的....
手撕Googlenet卷积神经网络-pytorch-详细注释版（可以直接替换自己数据集）-直接放置自己的数据集就能直接跑。跑的代码有问题的可以在评论区指出，看到了会回复。训练代码和预测代码均有。
Googlenet是2014年被提出来的一种全新的神经网络结构，我个人认为他跟Resnet一样都是具有划时代意义的神经网络，当然他的意义不仅在于获得该年 ImageNet 竞赛中 Classification Task（分类任务）第一名，而是他跟Resnet一样都代表一种网络结构的改变，Resnet提出来残差网络结构，Googlenet提出了多尺度融合的网络结构，这种结构非常有意义。在目标检测领....
手撕Resnet卷积神经网络-pytorch-详细注释版（可以直接替换自己数据集）-直接放置自己的数据集就能直接跑。跑的代码有问题的可以在评论区指出，看到了会回复。训练代码和预测代码均有。
Resnet（Deep residual network, ResNet），深度残差神经网络，卷积神经网络历史在具有划时代意义的神经网络。与Alexnet和VGG不同的是，网络结构上就有很大的改变，在大家为了提升卷积神经网络的性能在不断提升网络深度的时候，大家发现随着网络深度的提升，网络的效果变得越来越差，甚至出现了网络的退化问题，80层的网络比30层的效果还差，深度网络存在的梯度消失和爆炸问题....
手撕VGG卷积神经网络-pytorch-详细注释版（可以直接替换自己数据集）-直接放置自己的数据集就能直接跑。跑的代码有问题的可以在评论区指出，看到了会回复。训练代码和预测代码均有。
VGG”代表了牛津大学的Oxford Visual Geometry Group，VGG的Classification模型从原理上并没有与传统的CNN模型有太大不同。大家所用的Pipeline也都是：训练时候：各种数据Augmentation（剪裁，不同大小，调亮度，饱和度，对比度，偏色），剪裁送入CNN模型，Softmax，Backprop。测试时候：尽量把测试数据又各种Augmenting（....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
