文章 2019-02-14 来自:开发者社区

【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章 训练深层神经网络(中)

梯度裁剪 减少梯度爆炸问题的一种常用技术是在反向传播过程中简单地剪切梯度,使它们不超过某个阈值(这对于递归神经网络是非常有用的;参见第 14 章)。 这就是所谓的梯度裁剪。一般来说,人们更喜欢批量标准化,但了解梯度裁剪以及如何实现它仍然是有用的。 在 TensorFlow 中,优化器的minimize()函数负责计算梯度并应用它们,所以您必须首先调用优化器的compute_gradients()....

文章 2019-02-14 来自:开发者社区

【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章 训练深层神经网络(下)

训练稀疏模型 所有刚刚提出的优化算法都会产生密集的模型,这意味着大多数参数都是非零的。 如果你在运行时需要一个非常快速的模型,或者如果你需要它占用较少的内存,你可能更喜欢用一个稀疏模型来代替。 实现这一点的一个微不足道的方法是像平常一样训练模型,然后摆脱微小的权重(将它们设置为 0)。 另一个选择是在训练过程中应用强 l1 正则化,因为它会推动优化器尽可能多地消除权重(如第 4 章关于 Lass....

文章 2018-04-23 来自:开发者社区

TensorFlow——训练神经网络模型

TensorFlow训练神经网络模型的步骤: (1)定义神经网络的结构和向前传播的输出结果 (2)定义损失函数以及选择反向传播优化的算法 (3)生成会话(tf.Session),并且在训练数据上反复运行反向传播优化算法 例:下面是一个完整的程序来训练神经网络解决二分类问题 import tensorflow as tf import numpy as np #通过NumPy工具包生成模拟...

TensorFlow——训练神经网络模型

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

人工智能

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

+关注