阿里云文档 2026-03-06

本地部署千问QwQ-32B模型

千问QwQ-32B是阿里云开源的320亿参数推理模型,通过大规模强化学习在数学推理、编程及通用任务中实现性能突破,支持消费级显卡本地部署,兼顾高效推理与低资源消耗。本文将介绍如何利用vLLM作为千问QwQ-32B模型的推理框架,在一台阿里云GPU实例上构建千问QwQ-32B的推理服务。

阿里云文档 2025-12-19

双机分布式部署满血版Deepseek模型

DeepSeek-V3/R1是拥有671B参数的专家混合(MoE)模型,且已开源其模型权重。本文将介绍如何利用vllm作为DeepSeek模型的推理框架,在两台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。

阿里云文档 2025-04-16

双机分布式部署满血版Deepseek模型

DeepSeek-V3/R1是一个具有超过600亿参数的专家混合(MoE)模型,且已开源其模型权重。本文将介绍如何利用vllm作为DeepSeek模型的推理框架,在两台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置,即可实现开箱即用。

阿里云文档 2025-04-08

本地单机部署满血版DeepSeek模型

DeepSeek-V3/R1是一个具有超过600亿参数的专家混合(MoE)模型,且已开源其模型权重。本文将介绍如何利用SGLang作为DeepSeek模型的推理框架,在一台ebmgn8v实例上构建DeepSeek-V3/R1的推理服务。您无需进行额外配置,即可实现开箱即用。

阿里云文档 2025-03-18

如何本地部署DeepSeek

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。

问答 2023-11-15 来自:开发者社区

函数计算FC创建的自定义GPU函数已经挂载成功,如何才能让我的函数访问到nas的模型文件呢?

函数计算FC创建的自定义GPU函数已经挂载成功nas文件系统了,如何才能让我的函数访问到nas的模型文件呢?是否需要我再创建多一个admin的函数,参照官方SD的模型做法呢

问答 2023-11-14 来自:开发者社区

阿里函数计算中创建的自定义GPU函数后,需要使用模型的文件应该怎么放置啊?

阿里函数计算中创建的自定义GPU函数后,需要使用模型的文件应该怎么放置啊?因为模型文件比较大,没有打包在容器中。我看官方提供的SD模板,是创建一个模型管理函数使用的,那么我如果创建自定义的函数,都需要创建一个admin管理函数吗?使用nas也有不少成本。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

做技术先进、性能优异、稳如磐石的弹性计算!

+关注