有人测过qwen2-72B-int4么，ModelScope量化后，精度下降了很多？
有人测过qwen2-72B-int4么，ModelScope量化后，精度下降了很多？
7b chat做modelscope awq的int4量化，特别容易爆显存，怎么解决？
用swift做对baichuan2 7b chat做modelscope awq的int4量化，特别容易爆显存，怎么解决？
使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践
$stringUtil.substring( $!{XssContent1.description},200)...
16g显存的显卡不知道能不能运行，怎么设置modelscope 成int8量化？
16g显存的显卡不知道能不能运行，怎么设置modelscope 成int8量化？
Int8量化算子在移动端CPU的性能优化
$stringUtil.substring( $!{XssContent1.description},200)...
TensorRT-LLM在CodeFuse-CodeLlama-34B上的int4量化实践
概述本文档是利用TensorRT-LLM(early access)对 CodeFuse-CodeLlama-34B 进行int4量化的实践（注：TensorRT-LLM(GA) 已发布）。Codefuse是由蚂蚁集团开发的专门用于支持整个软件开发生命周期的大型代码语言模型（Code LLMs），涵盖设计、需求、...
modelscope有提供baichuan13B系列的int8或int4量化模型吗？
modelscope有提供baichuan13B系列的int8或int4量化模型吗？
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。