阿里云文档 2025-02-14

在GPU实例上部署DeepSeek-R1-Distill模型

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1-Distill模型推理服务。

阿里云文档 2025-02-12

使用vLLM镜像快速构建模型的推理环境

在GPU的实例上部署vLLM镜像后,可以帮助您快速且方便地构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分类或分析等自然语言处理业务场景,您无需深入了解底层硬件,也无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用vLLM容器镜像来快速构建大语言模型的推理服务。

阿里云文档 2024-12-27

使用DeepGPU-LLM镜像构建模型的推理环境

在GPU实例上配置DeepGPU-LLM容器镜像后,可以帮助您快速构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分析、编程辅助等自然语言处理业务场景,您无需深入了解底层的硬件优化细节,镜像拉取完成后,无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用DeepGPU-LLM容器镜像构建大语言模...

阿里云文档 2024-12-27

使用TensorRT-LLM构建模型的推理环境

在GPU的实例上安装推理引擎TensorRT-LLM,可以帮助您快速且方便地构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。

阿里云文档 2024-11-04

基于ModelScope模型库和GPU实例闲置计费功能低成本构建Google Gemma服务

Google在2024年02月21日正式推出了首个开源模型族Gemma,并同时上架了2b和7b两个版本。您可以使用函数计算的GPU实例以及函数计算的闲置模式低成本快速部署Gemma模型服务。

问答 2024-08-06 来自:开发者社区

modelscope模型文件都下载成功了,部署报错,是不是说只能在GPU下运行,CPU不行吗?

"请问modelscope模型文件都下载成功了,部署报错,是不是说只能在GPU下运行,CPU不行吗? "

问答 2024-03-26 来自:开发者社区

ModelScope模型如何指定gpu运行呢?

"damo/nlp_deberta_rex-uninlu_chinese-base 这个模型在使用pipeline时,device='gpu:2'指定2卡,但是运行时,还是默认使用0卡,ModelScope模型如何指定gpu运行呢?"

问答 2023-12-18 来自:开发者社区

modelscope调用的模型如何指定在特定gpu上运行?排除使用CUDA_VISIBLE_DEVI

当我这样操作时,传入device为0或者“cuda:0”,都无法让其运行到指定gpuself.skin_retouching = pipeline(Tasks.skin_retouching, model='damo/cv_unet_skin-retouching',device=device)默认直接加载到多张卡上。而且我发现对于不同的damo模型,使用这样的device传参方法,有的还会报错....

文章 2023-12-18 来自:开发者社区

modelscope调用的模型如何指定在特定gpu上运行?排除使用CUDA_VISIBLE_DEVICES环境变量

当我这样操作时,传入device为0或者“cuda:0”,都无法让其运行到指定gpuself.skin_retouching = pipeline(Tasks.skin_retouching, model='damo/cv_unet_skin-retouching',device=device)默认直接加载到多张卡上。而且我发现对于不同的da...

问答 2023-07-04 来自:开发者社区

请问ModelScope中,这个翻译模型,我指定了device为GPU了,但是实际运行中还是cpu,

https://modelscope.cn/models/damo/nlp_csanmt_translation_en2zh/summary 请问ModelScope中,这个翻译模型,我指定了device为GPU了,但是实际运行中还是cpu,是什么原因?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注