语言模型自己学会用搜索引擎了？Meta AI提出API调用自监督学习方法Toolformer
单一的大型语言模型或许无法实现 AGI，但如果它学会使用其他工具呢？在自然语言处理任务中，大型语言模型在零样本和少样本学习方面取得了令人印象深刻的结果。然而，所有模型都存在固有的局限性，往往只能通过进一步扩展来部分解决。具体来讲，模型的局限性包括无法访问最新信息、会对事实产生「信息幻觉」、低资源语言理解困难、缺乏进行精确计算的数学技能等等。解决这些问题的一种简单方法就是给模型配备外部工具，如搜索....
世界首个！Meta AI开放6亿+宏基因组蛋白质结构图谱，150亿语言模型用两周完成
如今，在蛋白质结构预测领域，各大厂也出现了「百家争鸣，百家齐放」。今年，DeepMind 公布了大约 2.2 亿种蛋白质的预测结构，它几乎涵盖了 DNA 数据库中已知生物体的所有蛋白质。现在，另一家科技巨头 Meta 正在填补另一空白，微生物领域。简单来说，Meta 使用 AI 技术预测了约 6 亿种蛋白质结构，这些蛋白质来自细菌、病毒和其他尚未被表征的微生物。团队负责人 Alexander R....
挖掘极致，将head数设置为特征数，Meta AI多头高效注意力模块更准、更快
研究者表示，他们提出的多头高效注意力 Hydra Attention 保留了注意力的可解释性等优点，能够同时提升基线 DeiT-B 模型的准确率和速度。得益于自身的泛化性以及从大规模数据中学习的能力，Transformers 成为过去几年自然语言处理领域的主导技术。并且随着 Vision Transformers（ViTs）的出现，视觉领域也出现了类似的趋势。但我们应该看到，在 NLP 中使用 ....
斯坦福、Meta AI新研究：实现AGI之路，数据剪枝比我们想象得更重要
Scale is all you need？No.在视觉、语言和语音在内的机器学习诸多领域中，神经标度律表明，测试误差通常随着训练数据、模型大小或计算数量而下降。这种成比例提升已经推动深度学习实现了实质性的性能增长。然而，这些仅通过缩放实现的提升在计算和能源方面带来了相当高的成本。这种成比例的缩放是不可持续的。例如，想要误差从 3% 下降到 2% 需要的数据、计算或能量会指数级增长。此前的一些研....
LeCun领导下的Meta AI，押注自监督
自监督学习真的是通往 AGI 的关键一步？Meta 的 AI 首席科学家 Yann LeCun 在谈到「此时此刻要采取的具体措施」时，也没有忘记远期的目标。他在一次采访时说：「我们想要构建像动物和人类一样学习的智能机器。」近几年，Meta 发表了一系列关于 AI 系统自监督学习（SSL）的论文。LeCun 坚定地认为，SSL 是 AI 系统的必要前提，它可以帮助 AI 系统构建世界模型，以获得类....
ViT的复仇：Meta AI提出ViT训练的全新baseline
本文提出了训练视觉 Transformer（ViT）的三种数据增强方法：灰度、过度曝光、高斯模糊，以及一种简单的随机修剪方法 (SRC)。实验结果表明，这些新方法在效果上大大优于 ViT 此前的全监督训练方法。 Transformer 模型 [55] 及其衍生模型在 NLP 任务中取得巨大成功后，在计算机视觉任务中也越来越受欢迎。这一系列的模型越来越多地用于图像分类 [13]、检测与分割...
纯MLP在下游任务上欠佳？Meta AI等提出稀疏MLP，超越transformer
来自 Meta AI 和纽约州立大学布法罗分校的研究者分析了 MLP 在表达能力方面的局限性，并提出了在特征和输入（token）维度上带有混合专家系统（MoE）的稀疏激活 MLP。作为基于注意力模型的替代方案，纯 MLP 架构吸引了越来越多的关注。在 NLP 中，gMLP 等近期工作表明，纯 MLP 在语言建模方面可以达到与 transformer 相当的性能，但在下游任务中弱于 transfo....
Meta揭幕全球最快AI超算：目标一天之内训练万亿参数大模型
最近一段时间，超级计算机是科技公司比拼的重点。昨天商汤科技的 AIDC 刚刚启用，今天又传来了脸书超算的消息。当地时间 1 月 24 日，Meta（原 Facebook）揭幕了其研究团队的全新人工智能超级计算机，预计在 2022 年中全部完成后，它将成为世界最快的计算机。在报道文章中，Meta 表示新超算 AI Research SuperCluster（RSC）将帮助该公司构建更好的 AI 模....
7 Papers & Radios | Meta AI首个多模态自监督算法；牛津、谷歌等撰文综述AutoRL
本周论文包括Meta AI提出了一种名为 data2vec 的自监督学习新架构，在多种模态的基准测试中超越了现有 SOTA 方法；谷歌、MIT 等提出分类器可视化解释方法 StylEx等。目录data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language Explaining in....
超越ImageNet预训练，Meta AI提出SplitMask，小数据集也能自监督预训练
大规模数据集对自监督预训练是必要的吗？Meta AI 认为，小数据集也能自监督预训练，效果还不错。目前，计算机视觉神经网络被大量参数化：它们通常有数千万或数亿个参数，这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而，这些高容量模型往往会在小型（包含数十万张图像）甚至中型数据集上过度拟合。因此，有研究者指出在 2014 年：学习 CNN 的过程相当于估计模型数百万个参数，这需要....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注