AI顶会ICLR 2022 | WPipe 蚂蚁集团大规模 DNN 训练的流水线并行技术
导言ICLR，全称为 International Conference on Learning Representations (国际学习表征会议) 是三大机器学习领域顶会之一 (另外两个是ICML和NeuriPS)。该会议的主要创办者就包含了深度学习三大巨头的YoShua Bengio和Yann LeCun。ICLR的第一届是2013年举行，短短几年就得到的快速发展，逐步成为机器学习领域的顶会....
DL之DNN优化技术：自定义MultiLayerNetExtend算法(BN层使用/不使用+权重初始值不同)对Mnist数据集训练评估学习过程
输出结果 设计思路 核心代码(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True)x_train = x_train[:1000]t_train = t_train[:1000]max_epochs = 20train_size = x_train.shape[0]batch_size = 100le....
DL之DNN优化技术：自定义MultiLayerNet【5*100+ReLU】对MNIST数据集训练进而比较三种权重初始值（Xavier参数初始化、He参数初始化）性能差异
输出结果===========iteration:0===========std=0.01:2.302533896615576Xavier:2.301592862642649He:2.452819600404312===========iteration:100===========std=0.01:2.3021427450183882Xavier:2.2492771742332085He:1.....
DL之DNN优化技术：DNN优化器的参数优化—更新参数的四种最优化方法(SGD/Momentum/AdaGrad/Adam)的案例理解、图表可视化比较
优化器案例理解输出结果设计思路核心代码#T1、SGD算法class SGD:'……' def update(self, params, grads): for key in params.keys(): params[key] -= s....
DL之DNN优化技术：利用Dropout(简介、使用、应用)优化方法提高DNN模型的性能
Dropout简介 随机失活（dropout）是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性（co-dependence ）从而实现神经网络的正则化（regularization），降低其结构风险（structural risk）。 ...
DL之DNN优化技术：利用Batch Normalization(简介、入门、使用)优化方法提高DNN模型的性能
Batch Normalization简介1、Batch Norm的反向传播的推导有些复杂，但是可借助于Batch Normalization的计算图来更方便了解。相关文章：Understanding the backward pass through Batch Normalization LayerBatch Normalization入门1、使用了Batch Normalization的神....
DL之DNN优化技术：神经网络算法简介之GD/SGD算法的简介、代码实现、代码调参之详细攻略（二）
GD算法的改进算法1、SGD算法(1)、mini-batch如果不是每拿到一个样本即更改梯度，而是若干个样本的平均梯度作为更新方向，则是mini-batch梯度下降算法。(1)、SGD与学习率、Rate、LossGD算法中的超参数1、学习率(1)、固定学习率实验的C代码(2)、回溯线性搜索(Backing Line Search)(3)、二次插值线性搜索：回溯线性搜索的思考——插值法，二次插值法....
DL之DNN优化技术：神经网络算法简介之GD/SGD算法的简介、代码实现、代码调参之详细攻略（一）
目录GD算法的简介GD/SGD算法的代码实现1、Matlab编程实现GD算法的改进算法GD算法中的超参数GD算法的简介 GD算法，是求解非线性无约束优化问题的基本方法，最小化损失函数的一种常用的一阶优化方法。如图所示，找出最陡峭的方向作为下山的方向。1、如何求梯度？沿着梯度方向，函数值下降最快。2、二元曲面具有两个输入权重的线性神经元的误差曲面，Error....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。