7b chat做modelscope awq的int4量化,特别容易爆显存,怎么解决?

用swift做对baichuan2 7b chat做modelscope awq的int4量化,特别容易爆显存,怎么解决?

ModelScope中,P100是跑不了,p40 不支持int4量化吗?

ModelScope中,P100是跑不了,p40 不支持int4量化吗?

个性化语音合成模型微调

1 课时 |
40 人已学 |
免费

ModelScope社区Library技术架构介绍

1 课时 |
174 人已学 |
免费
开发者课程背景图

modelscope中,infer_main是不是不支持微调后的int4模型?

"modelscope中,infer_main是不是不支持微调后的int4模型,要通过AutoModelForCausalLM.from_pretrained加载吗? "

modelscope-funasr在运行 7B chat int4模型 时报的错,咋解决?

modelscope-funasr在运行 7B chat int4模型 时报的错

modelscope通义千问的14b量化版出错 说没有版本 这个代码都是从页面上粘贴下来的 Int8 Int4都试过了一样的错误?

这个错误提示 "modelscope.hub.errors.NoValidRevisionError: The model: qwen/Qwen-14B-Chat-Int4 has no valid revision!" 表示你尝试加载的模型版本(revision)在ModelScope平台上不存在...

modelscope我在运行 7B chat int4模型 时报的错麻烦 给看一下 什么问题?

modelscope我在运行 7B chat int4模型 时报的错麻烦 给看一下 什么问题?

ModelScope中, int4模型不支持合并么?

ModelScope中, int4模型不支持合并么

ModelScope跑千问int4模型,报这个错误是什么意思?

ModelScope跑千问int4模型,报这个错误是什么意思?

Modelscope的Baichuan-13B有办法可以转换为int4或者int8嘛?

Modelscope的Baichuan-13B有办法可以转换为int4或者int8嘛?

modelscope有提供baichuan13B系列的int8或int4量化模型吗?

modelscope有提供baichuan13B系列的int8或int4量化模型吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
视觉AI能力的开放现状及ModelScope实战
ModelScope助力语音AI模型创新与应用
立即下载 立即下载