谷歌开源大规模神经网络模型高效训练库 GPipe
雷锋网(公众号：雷锋网) AI 科技评论按：谷歌昨日在博客中宣布开源大规模神经网络模型高效训练库 GPipe，这是一款分布式机器学习库，可以让研究员在不调整超参数的情况下，部署更多的加速器以对大规模模型进行训练，有效扩展了模型性能。雷锋网 AI 科技评论对此进行编译如下。 深度神经网络（DNNs）推进诸多机器学习任务的进步，其中包括语音识别、视觉识别和语言处理等。BigGan、Bert 、G...
【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章 训练深层神经网络（上）
第 10 章介绍了人工神经网络，并训练了我们的第一个深度神经网络。 但它是一个非常浅的 DNN，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层，每层包含数百个神经元，通过数十万个连接来连接。 这不会是闲庭信步： 首先，你将面临棘手的梯度消失问题（或相关的梯度爆炸问题），这会影响深度神经网络，并使....
【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章 训练深层神经网络（中）
梯度裁剪 减少梯度爆炸问题的一种常用技术是在反向传播过程中简单地剪切梯度，使它们不超过某个阈值（这对于递归神经网络是非常有用的；参见第 14 章）。 这就是所谓的梯度裁剪。一般来说，人们更喜欢批量标准化，但了解梯度裁剪以及如何实现它仍然是有用的。 在 TensorFlow 中，优化器的minimize()函数负责计算梯度并应用它们，所以您必须首先调用优化器的compute_gradients()....
【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章 训练深层神经网络（下）
训练稀疏模型 所有刚刚提出的优化算法都会产生密集的模型，这意味着大多数参数都是非零的。 如果你在运行时需要一个非常快速的模型，或者如果你需要它占用较少的内存，你可能更喜欢用一个稀疏模型来代替。 实现这一点的一个微不足道的方法是像平常一样训练模型，然后摆脱微小的权重（将它们设置为 0）。 另一个选择是在训练过程中应用强 l1 正则化，因为它会推动优化器尽可能多地消除权重（如第 4 章关于 Lass....
AI 开年翻车事件：训练神经网络除 bug ，结果它把整个库删了……
雷锋网 AI 科技评论按：授权 AI 删除 app 中的 bug，结果 AI 将整个库都给删了，这件听起来很荒谬的事情，真实在美国「大众点评」Yelp 上发生了。 Yelp 是美国著名商户点评网站，创立于 2004 年，囊括各地餐馆、购物中心、酒店、旅游等领域的商户，用户可以在 Yelp 网站中给商户打分，提交评论，交流购物体验等，由前贝宝（Paypal）工...
将神经网络训练成一个“放大镜”
低分辨率蝴蝶的放大 当我们网购时，我们肯定希望有一个贴近现实的购物体验，也就是说能够全方位的看清楚产品的细节。而分辨率高的大图像能够对商品进行更加详细的介绍，这真的可以改变顾客的购物体验，让顾客有个特别棒的购物之旅。idealo.de是欧洲领先的比价网站，也是德国电子商务市场最大的门户网站之一，在此基础上，我们希望能够在此基础上为用户提供一个用户友好、有吸引力的购物平台。 在这里，我们利用深度学....
如何使用优化器让训练网络更快——神经网络的奥秘
通过使用Numpy来创建神经网络，让我意识到有哪些因素影响着神经网络的性能。架构、超参数值、参数初始化，仅是其中的一部分，而这次我们将致力于对学习过程的速度有巨大影响的决策，以及所获得的预测的准确性—对优化策略的选择。我们会研究很多流行的优化器，研究它们的工作原理，并进行对比。 你在GitHub上可以找到所有代码： 机器学习算法的优化 优化是搜索用于最小化或最大化函数参数的过程。当我们训练机器学....
何恺明“终结”ImageNet预训练时代：从0开始训练神经网络，效果比肩COCO冠军
何恺明，RBG，Piotr Dollár。 三位从Mask R-CNN就开始合作的大神搭档，刚刚再次联手，一文“终结”了ImageNet预训练时代。 他们所针对的是当前计算机视觉研究中的一种常规操作：管它什么任务，拿来ImageNet预训练模型，迁移学习一下。 但是，预训练真的是必须的吗？ 这篇重新思考ImageNet预训练（Rethinking ImageNet Pre-training）就给....
增大Batch训练神经网络：单GPU、多GPU及分布式配置的实用技巧
2018年中的大部分时间，我都在尝试利用训练神经网络克服GPUs的局限。无论是在包含1.5亿个参数的语言模型中，比如OpenAI’s huge Generative Pre-trained Transformer (or the recent and similar BERT model)，还是在拥有3000万个输入元素的神经网络中，我都只能利用GPU处理很少的训练样本。 可是若想利用随机梯度下....
8月29日云栖精选夜读 | Jeff Dean本科论文首次曝光！第一批90后出生时，他就在训练神经网络
22岁时，你在干嘛？ 这两天，现任Google AI掌门，传奇一般的Jeff Dean，再次收获膜拜和引发热议。全因他的本科毕业论文首次曝光。 这篇论文只有8页。 却成为1990年的最优等本科论文，被明尼苏达大学图书馆保存至今。 热点热议 Jeff Dean本科论文首次曝光！第一批90后出生时，他就在训练神经网络 作者：技术小能手 发表于：量子位 如何优雅地用Redis实现分布式锁 ....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。