《中国人工智能学会通讯》——6.4 基于深度学习的知识图谱构建
6.4 基于深度学习的知识图谱构建 随着深度学习在自然语言处理领域应用的不断深入,人们也开始尝试将深度神经网络用于知识图谱的自动构建。在此,以实体和关系的表示学习技术为基础,讨论深度学习在命名实体识别、关系抽取、关系补全等任务上的应用。 命名实体识别 命名实体识别是从文本中提取出和人名、地名等特定的短语或名称的任务。早期的命名实体识别主要基于规则和词典来进行,对规律性较强的文本环境较为适合,但难....
《中国人工智能学会通讯》——1.31 深度学习 在自然语言处理研究上的进展
1.31 深度学习 在自然语言处理研究上的进展 近年来,深度学习在人工智能的多个子领域都取得了显著的进展。在自然语言处理领域,虽然深度学习方法也收到越来越多的关注,在很多任务上也取得了一定效果,但是并没有其他领域那么显著。传统的主流自然语言处理方法是基于统计机器学习的方法,所使用的特征大多数是基于 onehot 向量表示的各种组合特征。这个特征表示方式会导致特征空间非常大,但也带来一个优点。就是....
《中国人工智能学会通讯》——2.17 面向深度学习的计算机系统结构
2.17 面向深度学习的计算机系统结构 深度学习[1-2]采用多层神经元网络,在包括图像识别[2] 、自然语言处理 [3]以及语音识别[4]等多个领域都表现出了巨大潜力,引发了产业界和学术界的广泛关注。人们发现,通过使用更多的训练数据和更大的模型规模(更多的参数),能够显著提高最终的识别效果。例如 Google 大脑计划使用的神经元网络有超过 10 亿个参数[5] 。 因此,如何能够快速地训练大....
《中国人工智能学会通讯》——7.13 深度学习与分布式表示学习概览
7.13 深度学习与分布式表示学习概览 深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的有效表示,而这种使用相对较短、稠密的向量表示叫做分布式特征表示(也可以称为嵌入式表示)。本部分主要对于目前使用较广的一些学习算法进行一个简单的回顾。 首先介绍一些浅层的分布式表示模型。目前在文本领域,浅层分布式表示模型得到了广泛的使用,例如 wo....
《中国人工智能学会通讯》——7.2 基于深度学习的自然语言处理
7.2 基于深度学习的自然语言处理 深度学习旨在模拟人脑对事物的认知过程,一般是指建立在含有多层非线性变换的神经网络结构之上,对数据的表示进行抽象和学习的一系列机器学习算法。该方法已对语音识别、图像处理等领域的进步起到了极大的推动作用,同时也引起了自然语言处理领域学者的广泛关注。 如图 1 所示,深度学习为自然语言处理的研究主要带来了两方面的变化,一方面是使用统一的分布式(低维、稠密、连续)向量....
《中国人工智能学会通讯》——1.40 深度学习
1.40 深度学习 罗曼·扬波利斯基是路易斯维尔大学网络安全实验室主任。他认为,2016 年,我们将看到卷积神经网络(深度学习)领域的迅速发展,超级计算机的使用将使这个领域成为 2016 年人工智能发展的重点。 浅层学习是机器学习的第一次浪潮,主要是计算机系统从大量训练样本中学习统计规律,对未知事件做预测,实际上这种人工神经网络只是一种浅层模型。 深度学习是指通过构建多层的机器学习模型和海量训练....
中国人工智能学会通讯——深度学习与推荐系统 2.1 深度特征抽取(Extracting Side Features with Deep Learning)
2.1 深度特征抽取(Extracting Side Features with Deep Learning) 图4总结了一系列工作使用深度学习进行特征抽取,并用于协同过滤的基本框架。介于深度学习技术抽取出的特征通常是相对较短、稠密的向量(也称为嵌入式表示,embedding),可以和基于隐向量的矩阵分解方法无缝结合,因此这类工作大都采用矩阵分解模型进行协同过滤。例如,文献[33]在音乐推荐任务....
中国人工智能学会通讯——深度学习与推荐系统 1.2 基于特征的推荐 (Feature-based Recommendation)
1.2 基于特征的推荐 (Feature-based Recommendation) 协同过滤只考虑用户与物品的交互历史,本质上是用ID表示一个用户或物品。基于特征的推荐方法旨在融合各种其他辅助信息,以提高推荐的准确度。该类算法将用户(ID及其属性)、物品(ID及其属性)和上下文信息统一表示为特性向量作为输入,用于预测目标评分值。图3为一个输入数据表示的实例。 在将数据表示为特征向量到目标值的.....
中国人工智能学会通讯——迎接深度学习的“大”挑战(下) 1.1 深度学习的训练方法和技巧
摘要:本部分主要介绍了深度学习的训练方法和技巧、深度学习的挑战和应对方法等问题。 最后结合眼下 AI 的研究进展,对深度学习领域深刻的“吐槽”了一番,妙趣横生且发人深省。 1.1 深度学习的训练方法和技巧 前面提到的 BN 方法还不能解决所有的 问题。 因为即便做了白化,激活函数的导 数的最大值也只有 0.25,如果层数成百上 千,0.25 不断连乘以后,将很快衰减为 0。 所以后来又涌现出一.....
中国人工智能学会通讯——互联网搜索技术的前沿探索 4 深度学习与信息检索
4 深度学习与信息检索 近年来,深度学习技术在图像、语音、自然语言处理等领域取得了显著的突破,已经开始延伸到信息检索领域。深度学习模型强大的表达能力和学习能力,可以为信息检索中语义信息表征、相关性推理决策,以及复杂交互过程的建模提供良好的支撑。然而,目前已有的结果显示,深度学习应用于检索并不是其他领域深度学习模型的简单移植,而是需要结合信息检索的固有特征、领域知识和独特模式来构建。我们在这个方向....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。
+关注