阿里云文档 2024-09-20

如何训练GPT-2模型并生成文本

本文介绍如何使用GPU云服务器,使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。

问答 2023-03-02 来自:开发者社区

比如说gpt-3(1.3B)的模型贵社区提供有2.45G,按照张量并行分成8拆分,能拆分保存下吗?

老师,我现在还只是推理,不训练,比如说gpt-3(1.3B)的模型贵社区提供有2.45G,那我把这个按照张量并行分成8拆分,能拆分保存下吗?

问答 2023-03-02 来自:开发者社区

老师,GPT3 1.3B模型我们用pipeline推理过程就会自动拆分模型,拆分之后模型能保存吗?

老师,GPT3 1.3B模型我们用pipeline推理过程就会自动拆分模型,拆分之后模型能保存吗?我按照上次您给的修改方式进行修改,还是没看到拆分的模型

问答 2023-02-19 来自:开发者社区

gpt-3是基于megetron训练的?ModelScope模型文件可以拆分,或者按照张量并行8

gpt-3是基于megetron训练的?ModelScope模型文件可以拆分,或者按照张量并行8、流水并行2吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。