首个完全量化Vision Transformer的方法FQ-ViT | AI大模型落地加速还会远吗？（一）
模型量化显著降低了模型推理的复杂性，并已被广泛用于现实应用的部署。然而，大多数现有的量化方法主要是在卷积神经网络（CNNs）上开发的，当应用于全量化的Vision Transformer时，会出现严重的退化。在这项工作中证明了这些困难中的许多是由于LayerNorm输入中的严重通道间变化而出现的，并且提出了Power-of-Two Factor（PTF），这是一种减少全量化Vision Tran....
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南（3）
为了更好地处理长序列数据，Scaling Transformer 进一步配备了来自 Reformer 的 LSH（局部敏感哈希）注意力和 FFN 块循环，从而产生了 Terraformer 模型。混合专家系统 MoE专家混合系统 (MoE) 模型是一种专家网络的集合，每个样本仅激活网络的一个子集来获得预测结果。这个想法起源于上世纪九十年代并且与集成方法密切相关。有关如何将 MoE 模块合并到 T....
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南（2）
为了推动 N:M 结构稀疏化，需要将一个矩阵的列拆分为 M 列的多个 slide（也称为 stripe），这样可以很容易地观察到每个 stripe 中的列顺序和 stripe 的顺序对 N:M 稀疏化产生的限制。Pool 和 Yu 提出了一种迭代式的贪心算法来寻找最优排列，使 N:M 稀疏化的权重幅度最大化。所有通道对都被推测性地交换，并且只采用幅度增加最大的交换，然后生成新的排列并结束单次迭代....
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南（1）
本文是一篇综述性的博客，探讨总结当下常用的大型 transformer 效率优化方案。大型 Transformer 模型如今已经成为主流，为各种任务创造了 SOTA 结果。诚然这些模型很强大，但训练和使用起来代价非常昂贵。在时间和内存方面存在有极高的推理成本。概括来说，使用大型 Transformer 模型进行推理的难点，除了模型的规模不断扩大外，还有两个不可忽略的地方：内存消耗大：推理时，需要....
7 Papers & Radios | 谷歌开源机器人领域transformer；DeepMind推出剧本写作AI
本周主要论文包括谷歌机器人团队提出的多任务模型——Robotics Transformer 1 (RT-1)，以及 DeepMind 用一句话生成一个剧本的写作型 AI。目录：RT-1: Robotics Transformer for Real-World Control at ScaleAbstract Visual Reasoning with Tangram ShapesRe^3 : G....
7 Papers & Radios | 无残差连接训练深度transformer；DeepMind写代码AI登Science封面
本周主要论文包括：首次无残差连接或归一化层也能训练深度 Transformer 的探索性研究，以及 DeepMind携其写代码 AI AlphaCode 登上了 Science 封面，写代码能力不输程序员。目录：Competition-level code generation with AlphaCodeInverse scaling can become U-shaped FedALA: A....
PyTorch创始人：Transformer太火很不好，AI易撞墙
Souminth Chintala 担心 Transformer 可能导致人工智能碰壁。2017 年 Transformer 首次亮相，便迅速在 AI 领域扩散开来，CV、NLP 等任务都有其身影，越来越多的研究人员投入其中。要说 Transformer 有多厉害，比如 OpenAI 重磅推出的 GPT-3，就是基于 Transformer 实现的。至于传播速度方面，短短 5 年，Transfo....
CVPR 2022 | 视频Transformer自监督预训练新范式，复旦、微软云AI实现视频识别新SOTA
机器之心编辑部 复旦大学、微软 Cloud+AI 的研究者将视频表征学习解耦为空间信息表征学习和时间动态信息表征学习，提出了首个视频 Transformer 的 BERT 预训练方法 BEVT。该研究已被 CVPR 2022 接收。 在自然语言处理领域，采用掩码预测方式的 BERT 预训练助力 Transformer 在各项任务上取得了巨大成功。近期，因为 Transforme...
Transformer将在AI领域一统天下？现在下结论还为时过早
从自然语言处理任务起家，又在图像分类和生成领域大放异彩，所向披靡的 Transformer 会成为下一个神话吗？想象一下你走进一家本地的五金店，在货架上看到一种新型的锤子。你听说过这种锤子：它比其他锤子敲得更快、更准确，而且在过去的几年里，在大多数用途中，它已经淘汰了许多其他锤子。此外，通过一些调整，比如这里加一个附件，那里拧一个螺丝，这种锤子还能变成一把锯，其切割速度能媲美其他任何替代品。一些....
用Transformer定义所有ML模型，特斯拉AI总监Karpathy发推感叹AI融合趋势
特斯拉 AI 总监 Andrej Karpathy 连发多条推文表示，AI 不同领域（视觉、语音、自然语言等）正在打通，融合速度令人惊叹。 今日，特斯拉 AI 总监、Autopilot Vision 团队领导人 Andrej Karpathy 在推特上发文，对 AI 领域正在进行中的融合（consolidation）表示惊叹。他表示，「10 年前，视觉、语音、自然语言、强化学习等都是完全...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注