问答 2024-06-19 来自:开发者社区

ModelScope中,swift支持57B-A14b-gptq-int4 vllm推理吗?

ModelScope中,swift支持57B-A14b-gptq-int4 vllm推理吗?

文章 2024-06-01 来自:开发者社区

LLM 大模型学习必知必会系列(十三):基于SWIFT的VLLM推理加速与部署实战

LLM 大模型学习必知必会系列(十三):基于SWIFT的VLLM推理加速与部署实战 1.环境准备 GPU设备: A10, 3090, V100, A100均可. #设置pip全局镜像 (加速下载) pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ #安装ms-swift pip install...

LLM 大模型学习必知必会系列(十三):基于SWIFT的VLLM推理加速与部署实战

Swift 速成

31 课时 |
1169 人已学 |
免费
开发者课程背景图
问答 2024-05-15 来自:开发者社区

ModelScope中,如果不通过swift直接用vllm调用qwen1.5进行推理,有相关链接吗?

请问下,ModelScope中,如果不通过swift直接用vllm调用qwen1.5进行推理,有相关的链接吗?

问答 2024-04-23 来自:开发者社区

使用swift vllm加载模型,ModelScope有没有已经对并发请求做了优化处理?

使用swift vllm加载模型,ModelScope有没有已经对并发请求做了优化处理?

问答 2024-03-11 来自:开发者社区

ModelScope中,如何设置生成的最大的token swift的vllm?

ModelScope中,如何设置生成的最大的token swift的vllm?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

开发与运维

集结各类场景实战经验,助你开发运维畅行无忧

+关注