ViT的复仇：Meta AI提出ViT训练的全新baseline
本文提出了训练视觉 Transformer（ViT）的三种数据增强方法：灰度、过度曝光、高斯模糊，以及一种简单的随机修剪方法 (SRC)。实验结果表明，这些新方法在效果上大大优于 ViT 此前的全监督训练方法。 Transformer 模型 [55] 及其衍生模型在 NLP 任务中取得巨大成功后，在计算机视觉任务中也越来越受欢迎。这一系列的模型越来越多地用于图像分类 [13]、检测与分割...
纯MLP在下游任务上欠佳？Meta AI等提出稀疏MLP，超越transformer
来自 Meta AI 和纽约州立大学布法罗分校的研究者分析了 MLP 在表达能力方面的局限性，并提出了在特征和输入（token）维度上带有混合专家系统（MoE）的稀疏激活 MLP。作为基于注意力模型的替代方案，纯 MLP 架构吸引了越来越多的关注。在 NLP 中，gMLP 等近期工作表明，纯 MLP 在语言建模方面可以达到与 transformer 相当的性能，但在下游任务中弱于 transfo....
Meta揭幕全球最快AI超算：目标一天之内训练万亿参数大模型
最近一段时间，超级计算机是科技公司比拼的重点。昨天商汤科技的 AIDC 刚刚启用，今天又传来了脸书超算的消息。当地时间 1 月 24 日，Meta（原 Facebook）揭幕了其研究团队的全新人工智能超级计算机，预计在 2022 年中全部完成后，它将成为世界最快的计算机。在报道文章中，Meta 表示新超算 AI Research SuperCluster（RSC）将帮助该公司构建更好的 AI 模....
7 Papers & Radios | Meta AI首个多模态自监督算法；牛津、谷歌等撰文综述AutoRL
本周论文包括Meta AI提出了一种名为 data2vec 的自监督学习新架构，在多种模态的基准测试中超越了现有 SOTA 方法；谷歌、MIT 等提出分类器可视化解释方法 StylEx等。目录data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language Explaining in....
超越ImageNet预训练，Meta AI提出SplitMask，小数据集也能自监督预训练
大规模数据集对自监督预训练是必要的吗？Meta AI 认为，小数据集也能自监督预训练，效果还不错。目前，计算机视觉神经网络被大量参数化：它们通常有数千万或数亿个参数，这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而，这些高容量模型往往会在小型（包含数十万张图像）甚至中型数据集上过度拟合。因此，有研究者指出在 2014 年：学习 CNN 的过程相当于估计模型数百万个参数，这需要....
Meta AI & UC Berkeley 新作 | Early Dropout: Make Hinton‘s Drouout Great Again!
Title: Dropout Reduces UnderfittingPaper: https://arxiv.org/pdf/2303.01500.pdfCode: https://github.com/facebookresearch/dropout导读由Hinton等人于2012年提出，作为防止神经网络过拟合(overfitting)的正则化器，dropout已经经受住了时间的考验。**本....
如何实现2000万QPS？Meta揭秘背后的AI平台MultiRay：日均处理8000亿次请求！
【新智元导读】大模型背后的基础设施该怎么建设才最划算？想要性能强，模型除了「大」，还是「大」。 无论是自然语言处理、计算机视觉或是其他领域的研究，当下的深度学习研究范式通常采用非常大的模型架构，对海量的数据进行训练，然后将其用于一个特定的任务上，从而取得更佳的结果。 这种范式的好处是可以提升任务的性能指标，但由于其昂贵的训练成本，如果有大量的问题需要解决，那相应地就需要训练多....
数学奥赛狂砍10题！Meta发布全新定理证明器：AI即将接管数学？
【新智元导读】人类主导的数学领域也要被AI攻克了？张益唐教授最近发布的论文宣布攻克「郎道-西格尔零点猜想问题」，着实让数学之美火出了圈。实际上每个定理的证明都需要天才般的灵感和不断尝试。论灵感一现，机器永远也比不上人类；但论刻苦能力，那AI模型可以甩人类十条街，给它资料它真学啊！长期以来，科学界也一直将「AI能够自动进行定理证明」视为制造智能机器的关键一步。要证明一个特定的猜想是真是假，需要用到....
1句话生成视频AI爆火！Meta最新SOTA模型让网友大受震撼（2）
这个模型产生的契机是，Meta希望推动创意表达，将这种文本到图像的趋势与以前的草图到图像模型相结合，从而产生文本和以草图为条件的图像生成之间的奇妙融合。这意味着我们可以快速勾勒出一只猫，写出自己想要什么样的图像。遵循草图和文本的指导，这个模型会在几秒钟内，生成我们想要的完美插图。你可以把这种多模态生成AI方法看作是一个对生成有更多控制的Dall-E模型，因为它还可以将快速草图作为输入。之所以称它....
1句话生成视频AI爆火！Meta最新SOTA模型让网友大受震撼
【新智元导读】Meta新模型Make-A-Video，可以从文本一键生成视频了！AI的进展太神了……给你一段话，让你做个视频，你能行吗？Meta表示，我可以啊。你没听错：使用AI，你也可以变成电影人了！近日，Meta推出了新的AI模型，名字起得也是非常直接：做个视频（Make-A-Video）。这个模型强大到什么程度？一句话，就能实现「三马奔腾」的场景。就连LeCun都说，该来的总是会来的。视觉....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注