7 Papers & Radios | Hinton前向-前向神经网络训练算法；科学家造出「虫洞」登Nature封面
本周主要论文包括：Hinton 在 NeurIPS 2022 会议上对 Forward-Forward（FF）网络的解读；科学家们创造了有史以来第一个虫洞，研究论文登上《Nature》杂志的封面等研究。目录The Forward-Forward Algorithm: Some Preliminary Investigations The Architectural Bottleneck Prin....
Hinton最新研究：神经网络的未来是前向-前向算法｜NeurIPS 2022特邀演讲（2）
CIFAR-10 数据集测试Hinton 接着在 CIFAR‑10 数据集上测试了 FF 算法的性能，证明了 FF 训练出的网络在性能上能够媲美反向传播。该数据集有 50,000 张 32x32 的训练图像，每个像素具有三个颜色通道，因此，每个图像都有 3072 个维度。由于这些图像的背景复杂且高度可变，并且在训练数据很有限的情况下无法很好地建模，除非隐藏层非常小，否则包含两到三个隐藏层的全连接....
Hinton最新研究：神经网络的未来是前向-前向算法｜NeurIPS 2022特邀演讲
Hinton最新研究：神经网络的未来是前向-前向算法｜NeurIPS 2022特邀演讲新智元新智元 2022-12-08 13:08 发表于北京 新智元报道 作者：AI科技评论（李梅、黄楠）编辑：好困【新智元导读】在未来万亿参数网络只消耗几瓦特的新型硬件上，FF 是最优算法。过去十年，深度学习取得了惊人的胜利，用大量参数和数据做随机梯度下降的方法已经被证明是有效的。而梯度....
大脑飞行是啥？Hinton推特引热议，神经网络是让小鸟飞起来的「羽毛」？（二）
对大脑来说反向传播是不可能的在反向传播算法出现的好几十年，关于大脑如何学习的理论主要受「赫布理论」（1949）影响，通常被解释为「共同激发的神经元之间存在连接」，即相邻神经元的活动越相关，它们之间的突触联系就越强。这一理论经过一些修改后，成功解释了某些类型的学习和分类任务。 虽然赫布理论在使用错误信息时，是一种的非常狭窄、特殊且不敏感的方法，但对神经学家来说，它仍然是最好的学习规则，2....
大脑飞行是啥？Hinton推特引热议，神经网络是让小鸟飞起来的「羽毛」？（一）
Hinton刚刚在Twitter上开了一个小讨论: 人们反对在设计神经网络时从大脑获取灵感，就像在设计飞行器时从羽毛中获取灵感一样。△ 「通常，在设计神经网络时，很多人反对从大脑汲取灵感，这就像从羽毛构造中汲取灵感设计飞行器一样。无人机需要的桨叶是不会对撞到的东西造成损坏，还可以通过快速的预处理轻松修复。」所以，神经网络的设计到底能不能借鉴人类大脑构造？「能」或「不能」，这是一个问题前排网友激动....
Nature子刊：大脑学习也靠反向传播？Hinton等用新一代反向传播算法模拟神经网络
什么是反向传播？反向传播全称叫“误差反向传播”，英文Backpropagation，缩写为BP算法。作为训练神经网络的基本算法之一，反向传播对于新智元的程序员读者们来说一定不陌生。它的特点在于会求输出层和隐藏层的响应误差，并在更新权重时对其取反，从而确保权重引起的误差在减小。说得简单一点，BP的核心思路其实就是负反馈，希望通过负反馈实现神经网络系统面对给定目标的自动迭代、校准。随着更强的计算能力....
Geoffrey Hinton再出神作：通过神经网络估计有关节可变形的三维模型
该论文的作者是：Timothy Jeruzalski、Boyang Deng、Mohammad Norouzi、JP Lewis、Geoffrey Hinton、Andrea Tagliasacchi。论文链接：https://arxiv.org/abs/1912.03207前言本文对《NASA: Neural Articulated Shape Approximation》进行解读，这篇文章提....
Hinton胶囊网络后最新研究：用“在线蒸馏”训练大规模分布式神经网络
在提出备受瞩目的“胶囊网络”（Capsule networks）之后，深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在distillation这一想法做了一些前沿工作，包括Distill the Knowledge in a Neural Network等。今天我们介绍的是Hinton作为作者之一，谷歌大脑、DeepMind等的研究人员提交的distillatio....
神经网络之父Hinton回加拿大办AI研究所，和美国大公司抢人才
本文来自AI新媒体量子位（QbitAI） △ Geoffrey Hiton 被尊称为“神经网络之父”的Geoffrey Hiton又有了一份新事业：加拿大人工智能研究机构向量研究所（Vector Institute）的首席科学顾问。 《多伦多星报》在报道中称：“Hinton将搬回加拿大，来领导Google多伦多办公室的研究团队。”目前，Hinton每年都会去山景城Google总部工作几....
大神Hinton的Capsule论文终于公开，神经网络迎来新探索
本文来自AI新媒体量子位（QbitAI） “我的观点是把它全部抛掉，重头再来。” 今年9月的一次大会上，大神Geoffrey Hinton再次号召展开一次AI革命。 应该向何处去？实际上最近几年来，Hinton的大量精力都投入到了对capsule的研究之上。他想做capsule和想要推翻反向传播，几乎是出于同一个原因：不像大脑。 capsule的提出，正是为了应对神经网络与大脑的一个不相似...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。