问答 2024-07-24 来自:开发者社区

ModelScope中, 尝试模型介绍页面推荐的vllm启动命令 ,又出现报错,怎么解决?

" Qwen2-57B-A14B-Instruct 好像不太支持 modelscope server 启动服务,ModelScope中, 尝试模型介绍页面推荐的vllm启动命令 :python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-57B-A14B-Instruct --model /modelscope_....

问答 2024-07-23 来自:开发者社区

ModelScope的vllm编译安装出现如下报错怎么解决 ?

"请问ModelScope的vllm编译安装出现如下报错怎么解决 ? "

问答 2024-07-17 来自:开发者社区

ModelScope中,把vllm的版本降级后,报错信息发生变化了,怎么处理?

" ModelScope中,把vllm的版本降级后,报错信息发生变化了,怎么处理?"

问答 2024-07-17 来自:开发者社区

ModelScope中,千问2vllm推理报错是因为什么啊?

"flash_attn_varlen_func() got an unexpected keyword argument 'alibi_slopes'flash_attn_varlen_func() got an unexpected keyword argument 'alibi_slopes' ModelScope中,千问2vllm推理报错是因为什么啊?"

问答 2024-05-01 来自:开发者社区

按照ModelScope官网VLLM推理加速与部署的问题,依然报错,怎么解决?

"https://github.com/modelscope/swift/blob/main/docs/source/LLM/VLLM%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%E4%B8%8E%E9%83%A8%E7%BD%B2.md 按照ModelScope官网VLLM推理加速与部署的问题,依然报错,怎么解决? conda create -n swift-vl.....

问答 2024-02-26 来自:开发者社区

ModelScope安装完最新版本 vllm,又报错,请问有知道为什么的吗?

ModelScope安装完最新版本 vllm,又报:cupy没有安装,安装了pip install cupy-cuda11x;现在又报错:AttributeError: 'ndarray' object has no attribute '_torch_dtype';请问有懂的吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐