昇腾AI行业案例（七）：基于 Conformer 和 Transformer 模型的中文语音识别
00 - 前言 欢迎学习《基于 Conformer 和 Transformer 模型的中文语音识别》实验。本案例旨在帮助你深入了解如何运用深度学习模型搭建一个高效精准的语音识别系统，将中文语音信号转换成文字，并利用开源数据集对模型效果加以验证。 学习目标 在本课程中，您将学习如下内容： 语音数据预处理的方法 使用AI模型对语音数据进行预测推理的流程 ...
【AI系统】Transformer 模型小型化
自 Vision Transformer 出现之后，人们发现 Transformer 也可以应用在计算机视觉领域，并且效果还是非常不错的。但是基于 Transformer 的网络模型通常具有数十亿或数百亿个参数，这使得它们的模型文件非常大，不仅占用大量存储空间，而且在训练和部署过程中也需要更多的计算资源。所以在本文中会介绍关于...
【AI大模型】深入Transformer架构：编码器部分的实现与解析（下）
学习目标 了解编码器中各个组成部分的作用. 掌握编码器中各个组成部分的实现过程. 编码器介绍 编码器部分: * 由N个编码器层堆叠而成 * 每个编码器层由两个子层连接结构组成 * 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接 * 第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接。 ...
首个全自动科学发现AI系统，Transformer作者创业公司Sakana AI推出AI Scientist
近日，人工智能领域传来一则令人瞩目的消息：Sakana AI公司推出了首个全自动科学发现AI系统——AI Scientist。这一创新成果引起了广泛关注，被视为人工智能在科学研究领域的重大突破。 AI Scientist的出现，标志着人工智能在科学发现过程中的角色发生了根本性的转变。过去，人工智能主要作为辅助工具，...
AI计算机视觉笔记十九：Swin Transformer训练
续上一篇，训练自己的数据集，并测试。 一、安装标注软件labelme 安装labelme pip install labelme # 启动 labelme 这里数据集准本，标注图片数据过程自己探索。 最后文件结构如下： 二、修改配置文件 1、 修改configs_base_\models\mask_rcnn_swin_fpn.py第54、73行num_classes为自己的类别数 ...
AI计算机视觉笔记十八：Swin Transformer目标检测环境搭建
若该文为原创文章，转载请注明原文出处。 Swin Transformer是做什么的这里不做介绍，主要是记录下学习的全过程，Swin Transformer在搭建和训练的过程中，折腾了很久，主要是在折腾环境。 一、AutoDL租用实例 个人没有GPU电脑，使用的是租的,平台是AutoDL。 GPU使的是RTX 2080Ti，一小时0.88元，整个过程大概3-5小时，很划算。实例创建过程自行...
算法金 | 秒懂 AI - 深度学习五大模型：RNN、CNN、Transformer、BERT、GPT 简介
1. RNN（Recurrent Neural Network） 时间轴 1986年，RNN 模型首次由 David Rumelhart 等人提出，旨在处理序列数据。 关键技术 循环结构序列处理长短时记忆网络（LSTM）和门控循环单元（GRU） 核心原理 RNN 通过循环结构让网络记住...
Transformer 和扩散模型的生成式 AI 实用指南（预览版）
原文：Hands-On Generative AI with Transformers and Diffusion Models 译者：飞龙 协议：CC BY-NC-SA 4.0 第一章：扩散模型 在 2020 年末，一个名为扩散模型的鲜为人知的模型类别开始在机器学习领域引起轰动。研究人员找出了如何使用这些模型生成比以前技术产生的合成图像质量更高的图...
【NLP】Datawhale-AI夏令营Day8-10打卡：大模型基础Transformer
概要在编码器(encoder)和解码器(decoder)之间一般采用CNN或者RNN，而本研究提出了一种简单的仅仅基于注意力机制的架构——Transformer，主要用于机器翻译上面。Transformer是一种完全基于注意力的序列转录模型，它用 多头自注意力(multi-headed self-attention) 取代了编码器-解码器架构中最常用的循环层。Transformer, a seq....
极智AI | 变形金刚大家族Transformer ViT CLIP BLIP BERT模型结构
大家好，我是极智视界，本文整理介绍一下 Transformer ViT CLIP BLIP BERT 模型结构。这几个模型都跟 变形金刚 相关，Transformer 是最开始的，然后像 ViT、CLIP、BLIP、BERT 都会用到 Transformer Encoder 模块，其中 ViT、CLIP、BLIP 是多模态模型，BERT 是 NLP 大模型。TransformerPaper：《A....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注