问答 2024-07-09 来自:开发者社区

ModelScope使用swift deploy进行部署,但是提示要添加--model_type?

"使用awq量化了qwen1.8,得到qwen-1_8b-chat-awq-int4,ModelScope使用swift deploy进行部署,但是提示要添加--model_type,但是model type里面貌似没有这个qwen-1_8b-chat-awq-int4,请问如何解决呢? 如果单独设置model_id_and_path会出现 "

问答 2024-06-19 来自:开发者社区

modelscope使用swift deploy部署模型,提示显存溢出,怎么解决?

" modelscope使用swift deploy部署模型,提示显存溢出,怎么解决?"

Swift 速成

31 课时 |
1167 人已学 |
免费
开发者课程背景图
问答 2024-06-09 来自:开发者社区

ModelScope swift 微调mincmp模型后,推理和服务部署 有参考文档吗?

ModelScope swift 微调mincmp模型后,推理和服务部署 有参考文档吗?

问答 2024-06-09 来自:开发者社区

ModelScope swift web-ui怎么部署在web-ui上微调好的模型呢?

ModelScope swift web-ui怎么部署在web-ui上微调好的模型呢?

问答 2024-04-16 来自:开发者社区

modelscope微调后模型量化的时候, swift是源码部署的报错怎么处理?

"modelscope微调后模型量化的时候,用qwen1half-14b-chat-awq 微调的 swift是源码部署的报错怎么处理?,用这个:CUDA_VISIBLE_DEVICES=0 swift export \ --ckpt_dir 'output/qwen1half-4b-chat/vx-xxx/checkpoint-xxx' \ --merge_lora true...

问答 2024-02-19 来自:开发者社区

ModelScope可以问swift微调吗,我在微调qwenvl后,求教有啥部署的框架吗?

ModelScope可以问swift微调吗,我在微调qwenvl后,求教有啥部署的框架吗?vllm貌似不支持lora部署vl

问答 2023-12-27 来自:开发者社区

ModelScope用swift 微调完后能部署成一个 类openai 接口吗?

ModelScope用swift 微调完后能部署成一个 类openai 接口吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

开发与运维

集结各类场景实战经验,助你开发运维畅行无忧

+关注