阿里云文档 2024-09-20

如何训练GPT-2模型并生成文本

本文介绍如何使用GPU云服务器,使用Megatron-DeepSpeed框架训练GPT-2模型并生成文本。

文章 2023-05-26 来自:开发者社区

7 Papers & Radios | OpenAI用GPT-4解释GPT-2;Meta开源多感官基础模型

本周重要论文有 Meta AI开源的多感官 AI 基础模型,用图像对齐了所有模态,还有 OpenAI 开始用 AI 解读 AI 的新研究。目录:Language models can explain neurons in language modelsEgoLocate: Real-time Motion Capture, Localization, and Mapping with Spars....

7 Papers & Radios | OpenAI用GPT-4解释GPT-2;Meta开源多感官基础模型
文章 2023-05-19 来自:开发者社区

GPT、BERT、XLM、GPT-2、BART…你都掌握了吗?一文总结文本生成必备经典模型(2)

Cross-lingual Language Model Pretraining  BERT模型可以在上百种语言上进行预训练,语言之间的信息并不是互通的,不同的语言模型之间没有共享知识。Facebook的XLM模型克服了信息不互通的难题,它将不同语言放在一起采用新的训练目标进行训练,从而让模型能够掌握更多的跨语言信息。这种跨语言模型的一个显著优点是,对于预训练后的后续任务(比如文本分类....

GPT、BERT、XLM、GPT-2、BART…你都掌握了吗?一文总结文本生成必备经典模型(2)
文章 2023-05-19 来自:开发者社区

GPT、BERT、XLM、GPT-2、BART…你都掌握了吗?一文总结文本生成必备经典模型(1)

机器之心专栏本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。本文将分 2 期进行连载,共介绍 10 个在....

GPT、BERT、XLM、GPT-2、BART…你都掌握了吗?一文总结文本生成必备经典模型(1)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。