Transformer架构：重塑现代AI的核心引擎
Transformer架构：重塑现代AI的核心引擎 在人工智能领域，Transformer架构已成为自然语言处理的基石技术。自从2017年谷歌团队提出以来，这项创新彻底改变了我们处理序列数据的方式。 传统的循环神经网络（RNN）存在并行处理困难的问题，而Transformer通过自注意力机制(self-atten...
超越CNN与RNN：为什么Transformer是AI发展的必然选择？
本文较长，建议点赞收藏，以免遗失。 当我们在欣赏交响乐时，我们不会只关注某一种乐器的声音，而是感受整体和谐——小提琴的悠扬、大提琴的深沉、长笛的清脆，这些声音相互呼应，共同编织出动人的旋律。在AI的世界里，Transformer正是深度学习领域的"指挥家"，它使得每个...
Transformer打破三十年数学猜想！Meta研究者用AI给出反例，算法杀手攻克数学难题
在数学领域，许多猜想和问题已经困扰了数学家们数十年甚至更长时间。然而，随着人工智能（AI）技术的发展，越来越多的研究开始尝试利用AI来解决这些难题。最近，一篇名为《PatternBoost: Constructions in Mathematics with a Little Help from AI》的论文在a...
英伟达nGPT重塑Transformer，AI训练速度暴增20倍！文本越长，加速越快
在人工智能领域，Transformer模型已经成为了处理自然语言的基石。然而，训练这些模型通常需要大量的计算资源和时间。为了解决这个问题，英伟达（NVIDIA）的研究人员提出了一种名为nGPT（Normalized Transformer）的新型神经网络架构，该架构通过在超球面上进行表...
何恺明新作出炉！异构预训练Transformer颠覆本体视觉学习范式，AI性能暴涨超20%
在机器人学习领域，训练一个能够适应多种任务和环境的通用模型一直是一个挑战。传统方法通常需要为每个特定的机器人、任务和环境收集数据，这不仅昂贵而且容易过拟合。然而，最近一项名为“Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers”的研究提出了一...
AI加速：使用TorchAcc实现Swin Transformer模型分布式训练加速
阿里云PAI为您提供了部分典型场景下的示例模型，便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在Swin Transformer分布式训练中接入TorchAcc并实现训练加速。
语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场
近年来，人工智能领域在语言和图像模型的发展上取得了显著的进展。然而，将这两种模型有效地统一起来，以实现更强大的多模态能力，仍然是一个挑战。为了解决这个问题，Meta（前身为Facebook）的研究人员提出了一种名为Transfusion的创新方法，该方法将Transformer和Dif...
Transformer 和扩散模型的生成式 AI 实用指南（预览版）
原文：Hands-On Generative AI with Transformers and Diffusion Models 译者：飞龙 协议：CC BY-NC-SA 4.0 第一章：扩散模型 在 2020 年末，一个名为扩散模型的鲜为人知的模型类别开始在机器学习领域引起轰动。研究人员找出了如何使用这些模型生成比以前技术产生的合成图像质量更高的图...
Transformer六周年：当年连NeurIPS Oral都没拿到，8位作者已创办数家AI独角兽
有的人加入 OpenAI，有的人成立创业公司，也有的坚守谷歌 AI。当年正是他们共同开启了今天的 AI 大发展时代。从 ChatGPT 到 AI 画图技术，人工智能领域最近的这波突破或许都要感谢一下 Transformer。今天是著名的 transformer 论文提交六周年的日子。论文链接：https://arxiv.org/abs/1706.03762六年前，一篇名字有点浮夸的论文被上传到了....
首个完全量化Vision Transformer的方法FQ-ViT | AI大模型落地加速还会远吗？（二）
3.3、用于Softmax量化的Log Int Softmax多头自注意力（MSA）是基于Transformer的架构中最重要的组件之一，但由于Token数量的二次复杂性，即图像分辨率除以Patch size，它被认为是资源最密集的组件。随着模型性能被证明受益于更高的分辨率和更小的Patch size，当分辨率增加和Patch size减小时，注意力图的存储和计算成为瓶颈，直接影响推理的吞吐量和....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注