文章
2024-11-01
来自：开发者社区
社区供稿 |【8卡从零训练Steel-LLM】微调探索与评估
01前言 今年二月份，机缘巧合，朋友搞到了一台A100 80G SXM，机器放着也是怪浪费的，便萌生了从零预训练一个LLM的想法。一台机器不算多，并且最多可能也就用个3-4个月，掐指一算，训个1B左右的模型，1T左右的数据应该差不多。好景不长，机器用了一个多月吧，就被收回了，当时模型才训到了20k step（预计要训练100k step）。天无绝人之路，真的非常感谢某top 3老师的资助...
问答
2024-04-16
来自：开发者社区
modelscope社区牵手FastChat&vLLM，打造极致LLM模型可以使用fastchat?
modelscope社区牵手FastChat&vLLM，打造极致LLM模型部署体验 baichuan2_7b_chat 也可以使用fastchat 吗？
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。