何恺明新作出炉！异构预训练Transformer颠覆本体视觉学习范式，AI性能暴涨超20%
在机器人学习领域，训练一个能够适应多种任务和环境的通用模型一直是一个挑战。传统方法通常需要为每个特定的机器人、任务和环境收集数据，这不仅昂贵而且容易过拟合。然而，最近一项名为“Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers”的研究提出了一...
揭开模型微调Fine-Tuning的神秘面纱：如何在预训练基础上巧妙调整，解锁定制AI解决方案的秘密武器
模型微调Fine-Tuning是一种在现有预训练模型基础上进行调整的技术，以适应特定任务的需求。这种方法广泛应用于自然语言处理、计算机视觉等领域，其核心思想是在大量通用数据上训练出的基础模型之上，利用少量特定领域的数据进行进一步训练，从而提升模型在目标任务上的表现。 预训练模型通常是在大规模数据集上训练得到的，这些数据集往往包...
【NLP自然语言处理】NLP中的常用预训练AI模型
学习目标 了解当下NLP中流行的预训练模型 掌握如何加载和使用预训练模型 当下NLP中流行的预训练模型 在自然语言处理（NLP）领域，预训练AI模型已成为推动技术发展的重要力量。这些模型通过在大量数据集上进行预先训练，学习到了语言的通用特征或知识表示，进而可以应用于各种具体的NLP任务。 以下是一些常用的NLP预训...
找不到中文语音预训练模型？中文版 Wav2vec 2.0和HuBERT来了，腾讯游戏知几AI团队和西工大ASLP组联合出品
Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conversation，VC）等语音下游任务的性能....
CVPR 2022 | 视频Transformer自监督预训练新范式，复旦、微软云AI实现视频识别新SOTA
机器之心编辑部 复旦大学、微软 Cloud+AI 的研究者将视频表征学习解耦为空间信息表征学习和时间动态信息表征学习，提出了首个视频 Transformer 的 BERT 预训练方法 BEVT。该研究已被 CVPR 2022 接收。 在自然语言处理领域，采用掩码预测方式的 BERT 预训练助力 Transformer 在各项任务上取得了巨大成功。近期，因为 Transforme...
超越ImageNet预训练，Meta AI提出SplitMask，小数据集也能自监督预训练
大规模数据集对自监督预训练是必要的吗？Meta AI 认为，小数据集也能自监督预训练，效果还不错。目前，计算机视觉神经网络被大量参数化：它们通常有数千万或数亿个参数，这是它们成功利用大型图像集合 (如 ImageNet) 的关键。然而，这些高容量模型往往会在小型（包含数十万张图像）甚至中型数据集上过度拟合。因此，有研究者指出在 2014 年：学习 CNN 的过程相当于估计模型数百万个参数，这需要....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
人工智能平台PAI
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
+关注