模型GPU云服务器的相关内容

阿里云文档 2026-06-02

如何本地部署DeepSeek

DeepSeek-V3/R1是拥有671B参数量的专家混合（MoE）模型，并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。

阿里云文档 2026-05-27

本地部署千问QwQ-32B模型

千问QwQ-32B是阿里云开源的320亿参数推理模型，通过大规模强化学习在数学推理、编程及通用任务中实现性能突破，支持消费级显卡本地部署，兼顾高效推理与低资源消耗。本文将介绍如何利用vLLM作为千问QwQ-32B模型的推理框架，在一台阿里云GPU实例上构建千问QwQ-32B的推理服务。

阿里云文档 2025-12-19

双机分布式部署满血版Deepseek模型

DeepSeek-V3/R1是拥有671B参数的专家混合（MoE）模型，且已开源其模型权重。本文将介绍如何利用vllm作为DeepSeek模型的推理框架，在两台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。

阿里云文档 2025-04-16

双机分布式部署满血版Deepseek模型

DeepSeek-V3/R1是一个具有超过600亿参数的专家混合（MoE）模型，且已开源其模型权重。本文将介绍如何利用vllm作为DeepSeek模型的推理框架，在两台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置，即可实现开箱即用。

阿里云文档 2025-04-08

本地单机部署满血版DeepSeek模型

DeepSeek-V3/R1是一个具有超过600亿参数的专家混合（MoE）模型，且已开源其模型权重。本文将介绍如何利用SGLang作为DeepSeek模型的推理框架，在一台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置，即可实现开箱即用。

问答 2025-03-12 来自：开发者社区

Qwen2.5-14B-Instruct-GPTQ-Int4量化模型是只能在GPU上运行吗？

Qwen2.5 GPTQ系列的量化模型是只支持在GPU上运行吗？不支持在CPU上运行？

文章 2025-03-05 来自：开发者社区

Proxy Lite：仅3B参数的开源视觉模型！快速实现网页自动化，支持在消费级GPU上运行

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！ AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花「网页操作解放双手！开源视觉模型3B参数逆袭：浏览器自动抓取+填表，低配GPU也能跑」大家好，我是蚝油菜花。你...

文章 2025-02-14 来自：开发者社区

Magic 1-For-1：北大联合英伟达推出的高质量视频生成量化模型，支持在消费级GPU上快速生成

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！微信公众号｜搜一搜：蚝油菜花大家好，我是蚝油菜花，今天跟大家分享一下 Magic 1-For-1 这个由北京大学、Hedra Inc. 和 Nvidia 联合推出的高效视频生成模型。快速阅读 Magic 1-For-1 ...

问答 2024-10-16 来自：开发者社区

求助，人工智能平台 PAI-DSW运行模型时，找不到 GPU

(envTimeLLM) root@dsw-456910-599d598865-67g8w:/mnt/workspace/Time-LLM# bash ./scripts/TimeLLM_ETTh1.shThe following values were not passed to accelerate launch and had defaults used instead: -...

问答 2024-08-28 来自：开发者社区

modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？

modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？设置device='cuda:1'模型在cuda 0之外的gpu上面做推理就会出现 RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0