ICLR 2024 Oral：用巧妙的传送技巧，让神经网络的训练更加高效
该论文提出了一种新颖的方法来提高神经网络的训练效率，即利用参数对称性进行传送（teleportation）。这一研究由一支优秀的团队完成，他们在论文中详细阐述了如何通过传送来加速神经网络的收敛速度，并改善其泛化能力。 首先，让我们来了解一下参数对称性的概念。在许多神经网络中，不同的参数值可能会导致相...
ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法
在领域泛化 (Domain Generalization, DG) 任务中，当领域的分布随环境连续变化时，如何准确地捕捉该变化以及其对模型的影响是非常重要但也极富挑战的问题。为此，来自 Emory 大学的赵亮教授团队，提出了一种基于贝叶斯理论的时间域泛化框架 DRAIN，利用递归网络学习时间维度领域分布的漂移，同时通过动态神经网络以及图生成技术的结合最大化模型的表达能力，实现对未来未知领域上的模....
NeurIPS 2021 | 华为诺亚Oral论文：基于频域的二值神经网络训练方法
二值神经网络（BNN）将原始全精度权重和激活用符号函数表征成 1-bit。但是由于常规符号函数的梯度几乎处处为零，不能用于反向传播，因此一些研究已经提出尝试使用近似梯度来减轻优化难度。然而，这些近似破坏了实际梯度的主要方向。基于此，在一篇 NeurIPS 2021 论文中，来自华为诺亚方舟实验室等机构的研究者提出使用傅里叶级数的组合来估计频域中符号函数的梯度以训练 BNN，即频域逼近 (FDA)....
【中科院自动化所AAAI Oral】从哈希到卷积神经网络：高精度 & 低功耗
近年来，深度卷积神经网络已经深入了计算机视觉的各个任务中，并在图像识别、目标跟踪、语义分割等领域中取得了重大突破。在一些场景下，当前深度卷积网络性能已经足以部署到实际应用中，这也鼓舞着人们将深度学习落地到更多的应用中。 然而，深度卷积网络在实际部署时面临着参数量和时间复杂度等两方面的问题，一方面是深度网络巨大的参数量会占用大量的硬盘存储和运行内存，这些硬件资源在一些移动和嵌入式设备中往往是很有限....
【ICLR 2018录用结果出炉】23篇oral干货，强化学习、对抗网络、可解释性最受关注
Oral Papers：23篇 1、AmbientGAN: Generative models from lossy measurements （AmbientGAN：来自有损测量的生成模型） 作者：Ashish Bora, Eric Price, Alexandros G. Dimakis（德州大学） 论文地址：https://openreview.net/forum?id=Hy7fDog0b....
【AAAI Oral】阿里提出新神经网络算法，压缩掉最后一个比特
近年来，深度学习在人工智能领域取得了重大的突破。在计算机视觉、语音识别等诸多领域，深度神经网络(DNN, Deep Neural Network)均被证明是一种极具成效的问题解决方式。如卷积神经网络(CNN, Convolutional neural network)在计算机视觉诸多传统问题（分类、检测、分割）都超越了传统方法，循环神经网络(RNN, Recurrent Neural Netwo....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
