7b chat做modelscope awq的int4量化,特别容易爆显存,怎么解决?

用swift做对baichuan2 7b chat做modelscope awq的int4量化,特别容易爆显存,怎么解决?

用官方awq量化模刑可以用4卡,图中是哪个环节的modelscope问题?

"用官方awq量化模刑可以用4卡,图中是哪个环节的modelscope问题?"

个性化语音合成模型微调

1 课时 |
40 人已学 |
免费

ModelScope社区Library技术架构介绍

1 课时 |
174 人已学 |
免费
开发者课程背景图

modelscope中,用awq量化后 不能用4卡推理了吗?

modelscope中,用awq量化后 不能用4卡推理了吗?

ModelScope中,量化的过程中找不到awq怎么办?

"ModelScope中,量化的过程中找不到awq怎么办? "

ModelScope中,lora可以微调qwen1.5-14b-chat的awq、gptq量化模型?

ModelScope中,lora可以微调qwen1.5-14b-chat的awq、gptq量化模型?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
视觉AI能力的开放现状及ModelScope实战
ModelScope助力语音AI模型创新与应用
立即下载 立即下载