图神经网络22-DGL实战：针对边分类任务的邻居采样训练方法
边分类/回归的训练与节点分类/回归的训练类似，但还是有一些明显的区别。定义邻居采样器和数据加载器用户可以使用和节点分类一样的邻居采样器 。sampler = dgl.dataloading.MultiLayerFullNeighborSampler(2)想要用DGL提供的邻居采样器做边分类，需要将其与:class:~dgl.dataloading.pytorch.EdgeDataLoader 结....
神经网络的初始化方法总结 | 又名“如何选择合适的初始化方法”
为什么初始化很重要不正确初始化的权重会导致梯度消失或爆炸问题，从而对训练过程产生负面影响。对于梯度消失问题，权重更新很小，导致收敛速度变慢——这使得损失函数的优化变慢，在最坏的情况下，可能会阻止网络完全收敛。相反，使用过大的权重进行初始化可能会导致在前向传播或反向传播过程中梯度值爆炸。 常见的初始化方法1. 全零或等值初始化由于初始化的值全都相同，每个神经元学到的东西也相同....
在边缘设备上拟合大型神经网络的方法总结
对于任何想要创建可扩展服务的人来说，部署大内存的深度学习算法是一项挑战。 从长远来看，云服务是昂贵的。 在边缘设备上离线部署模型更便宜，并且还有其他好处。 唯一的缺点是它们缺乏内存和计算能力。本文探讨了一些可用于在内存受限设置中拟合神经网络的技术。 不同的技术用于“训练”和“推理”阶段，因此分别讨论。 Training某些应用程序需要在线学习。也就是说，模型会根据反馈或附加数据进行改进....
详解机器学习的凸优化、图神经网络、强化学习、贝叶斯方法等四大主题
1. 凸优化部分凸优化在人工智能领域有着举足轻重的地位，对于模型的训练实际上等同于对模型的优化。我们平时使用的sgd, adam, adagrad, l-bfgs这类算法均属于优化范畴。在AI的应用中，当我们构造了目标函数之后，接下来的工作就是优化部分。那为什么凸优化这么重要呢？设想一下，如果你想设计一个新的模型，或者在原有的模型基础做一些创新，那对于新构造的目标函数，你需要懂得如何去优化，以及....
Nature | 基于深度神经网络和改进的片段测序方法从头预测蛋白质结构
Nature子刊 Machine Intelligence发布了八月份最新接收论文，共4 篇。一篇是清华生命学院龚海鹏和澳大利亚格里菲斯大学周耀旗等人用神经网络进行蛋白质结构预测方面的工作。DeepMind提出的AlphaFold证明了深度学习能大幅度提高蛋白质结构预测准确度。2019年8月，Nature Machine Intelligence提出的DeepFragLib，有望将该方向推进到新....
SIGIR 2021 | 快手联合清华提出基于图神经网络的序列推荐新方法
序列推荐旨在利用用户的历史行为序列来预测用户的下一次交互，此类方法已被现代在线信息流系统（例如新闻，视频，广告等）广泛采用。但用户长期历史行为中普遍存在隐式和嘈杂的偏好信号，这无疑会降低用户真实兴趣的建模效果。为解决该挑战，清华大学未来智能实验室联合快手社科推荐模型组提出了一种基于图神经网络的序列推荐框架 SURGE。通过图神经网络技术对行为信号进行传播与池化，动态地融合并提取用户当前激活的核心....
神经网络可解释性、深度学习新方法， 2020 年有哪些势不可挡的研究趋势？
云栖号：https://www.aliyun.com/#module-yedOfott8第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！ 今天是 2020 年第一天！ 作为 2019 年最后一场重量级的人工智能国际学术顶会，NeurIPS 2019 所反映出的一些人工智能研究趋势，例如神经网络可解释性、深度学习新方法、神经科学等等，想必对于大.....
CIKM 18 | 蚂蚁金服论文：基于异构图神经网络的恶意账户识别方法
小蚂蚁说： ACM CIKM 2018 全称是 The 27th ACM International Conference on Information and Knowledge Management，会议于2018年10月22日-26日在意大利都灵省举行。 CIMK 是国际计算机学会（ACM）举办的信息检索、知识管理和数据库领域的重要学术会议。本次大会目的在于明确未来知识与信息系统发...
一文看懂各种神经网络优化算法：从梯度下降到Adam方法
本文来自AI新媒体量子位（QbitAI） 在调整模型更新权重和偏差参数的方式时，你是否考虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam方法？ 这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。 什么是优化算法？ 优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。 模型内部有些参数，是用来计算测试集中目标值Y...
深度学习的这些坑你都遇到过吗？神经网络 11 大常见陷阱及应对方法
如果你的神经网络不工作，该怎么办？本文作者列举了搭建神经网络时可能遇到的11个常见问题，包括预处理数据、正则化、学习率、激活函数、网络权重设置等，并提供解决方法和原因解释，是深度学习实践的有用资料。 如果你的神经网络不工作，该怎么办？作者在这里列出了建神经网络时所有可能做错的事情，以及他自己的解决经验。 忘记规范化数据 忘记检查结果 忘记预处理数据 忘记使用正则化 使用的batch太大 使用了.....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。