问答 2024-07-23 来自:开发者社区

awq量化模型,启动时,报图中警告,并且ModelScope模型推理速度非常慢,这应该怎么办?

"WARNING 07-16 14:51:24 config.py:244] awq quantization is not fully optimized yet. The speed can be slower than non-quantized models 使用awq量化模型,启动时,报图中警告,并且ModelScope模型推理速度非常慢,这应该怎么办?"

问答 2024-05-22 来自:开发者社区

modelscope中,量化后的模型推理报错吗?

"modelscope中,量化后的模型推理报错吗?"

问答 2023-12-04 来自:开发者社区

在ModelScope中,量化模型推理速度异常,可以帮忙看一下吗?

https://github.com/modelscope/swift/issues/184量化模型推理速度异常,可以帮忙看一下吗

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注