大模型进阶微调篇（一）：以定制化3B模型为例，各种微调方法对比-选LoRA还是PPO，所需显存内存资源为多少？
在大模型的微调过程中，选择合适的方法来高效地提高模型性能是非常关键的。今天我们来聊一聊两种常见的微调方式——LoRA（Low-Rank Adaptation）和 PPO（Proximal Policy Optimization），以及它们各自的优缺点和适用场景。通过详细的对比分析，希望能帮助你选择最...
ICML 2024：零阶优化器微调大模型，大幅降低内存
在当前的自然语言处理（NLP）领域，微调预训练的大型语言模型（LLMs）已经成为了标准做法。然而，随着LLMs的规模不断扩大，由于需要进行反向传播（BP）来计算一阶（FO）优化器的梯度，如随机梯度下降（SGD...
请教一下ModelScope，微调mPLUG视觉问答模型-中文-base模型是，内存一直涨遇到过吗？
请教一下ModelScope，微调mPLUG视觉问答模型-中文-base模型是，内存一直涨有人遇到过吗？最终导致内存爆了
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。