问答 2024-03-20 来自:开发者社区

千问1.5 72B AWQ的量化模型无法使用多个GPU

请问千问1.5 72B AWQ的量化模型使用官方提供的代码运时,多个GPU无法并行使用,只是一个一个轮着运行。是什么问题造成的啊,代码和官方提供的代码一模一样。GPU为8个A30

问答 2024-03-20 来自:开发者社区

LLM大语言模型有个100并发的34b模型的推理需求,不知道需要多大的GPU?

LLM大语言模型有个100并发的34b模型的推理需求,不知道需要多大的GPU?First token需要在2s内,部署的话应该是使用vLLM加速

问答 2024-03-12 来自:开发者社区

想在 arm64 + gpu 的环境下部署ModelScope 模型,可以指导指导吗?

想在 arm64 + gpu 的环境下部署ModelScope https://www.modelscope.cn/models/iic/cv_resnet18_ocr-detection-db-line-level_damo/summary 模型,可以指导指导吗?显卡想用 atlas 300

问答 2024-03-12 来自:开发者社区

ModelScope中,人像卡通画3D模型用多张图做参数传入时,用GPU也处理很慢,有办法调优吗?

https://www.modelscope.cn/models/iic/cv_unet_person-image-cartoon-3d_compound-models/summary ModelScope中,人像卡通画3D模型用多张图做参数传入时,用GPU也处理很慢,有办法调优吗?

文章 2024-03-11 来自:开发者社区

一键开启 GPU 闲置模式,基于函数计算低成本部署 Google Gemma 模型服务

1. 背景信息 Google 在 2024 年 02 月 21 日正式推出了自家的首个开源模型族 Gemma ,并同时上架了四个大型语言模型,提供了 2B 和 7B 两种参数规模的版本,每种都包含了预训练版本(base 模型)和指令微调版本(chat 模型)[1]。根据 Google 的技术报告,本次开源的 Gemma 在问题回答、合理性、数学、代码等方面的性能均超越同参数量级的其他开源...

一键开启 GPU 闲置模式,基于函数计算低成本部署 Google Gemma 模型服务
问答 2024-03-05 来自:开发者社区

pipeline加载TensorFlow架构模型,怎么指定TensorFlow使用gpu显存大小?

pipeline加载TensorFlow架构模型,怎么指定TensorFlow使用gpu显存大小?我在12G的卡上运行BSHM人像抠图模型,占用11G,在24G的卡上运行,占用20G,请问怎么设置,其占用显存大小?

问答 2024-03-05 来自:开发者社区

ModelScope中我们的ASR模型和TTS模型,可以使用GPU吗?

ModelScope中是否使用GPU的响应耗时能显著降低呀?

文章 2024-02-22 来自:开发者社区

【求助】使用免费GPU计算实例尝试模型库中的大模型,报错:无法利用GPU,找不到模型文件

开启了如下GPU的实例: 运行如下代码: from modelscope import AutoModelForCausalLM, AutoTokenizer import torch torch.manual_seed(0) path = 'OpenBMB/MiniCPM-2B-dpo-bf16' tokenizer = AutoTokenizer.from_pretrained(pat...

【求助】使用免费GPU计算实例尝试模型库中的大模型,报错:无法利用GPU,找不到模型文件
问答 2024-02-01 来自:开发者社区

modelscope-funasr标点符号这个模型不支持GPU吗?

modelscope-funasr标点符号这个模型不支持GPU吗?

问答 2024-02-01 来自:开发者社区

modelscope-funasr搭配vad模型无法使用gpu,使用示例代码都报错,怎么解决?

speech_seaco_paraformer_large_asr_nat-zh-cn-16k-common-vocab8404-pytorch modelscope-funasr搭配vad模型无法使用gpu,使用示例代码都报错,怎么解决?已经提issue了,https://github.com/alibaba-damo-academy/FunASR/issues/1307

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注