阿里云文档 2025-02-17

在GPU实例上部署DeepSeek-R1-Distill模型

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1-Distill模型推理服务。

阿里云文档 2025-02-12

使用vLLM镜像快速构建模型的推理环境

在GPU的实例上部署vLLM镜像后,可以帮助您快速且方便地构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分类或分析等自然语言处理业务场景,您无需深入了解底层硬件,也无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用vLLM容器镜像来快速构建大语言模型的推理服务。

文章 2025-01-16 来自:开发者社区

AI 场景下,函数计算 GPU 实例模型存储最佳实践

作者:有松 当前,函数计算 FC 已被广泛应用在各种 AI 场景下,函数计算支持通过使用容器镜像部署 AI 推理应用,并且提供多种选项来访问训练好的模型。为了帮助开发者高效地在函数计算上部署 AI 推理应用,并快速解决不同场景下的模型存储选型问题,本文将对函数计算的 GPU 模型存储的优缺点及适用场景进行对比分析,以期为您的模型存储决策提供帮助。 背景信息 ...

AI 场景下,函数计算 GPU 实例模型存储最佳实践
阿里云文档 2024-12-27

使用DeepGPU-LLM镜像构建模型的推理环境

在GPU实例上配置DeepGPU-LLM容器镜像后,可以帮助您快速构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分析、编程辅助等自然语言处理业务场景,您无需深入了解底层的硬件优化细节,镜像拉取完成后,无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用DeepGPU-LLM容器镜像构建大语言模...

阿里云文档 2024-12-27

使用TensorRT-LLM构建模型的推理环境

在GPU的实例上安装推理引擎TensorRT-LLM,可以帮助您快速且方便地构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。

阿里云文档 2024-11-04

基于ModelScope模型库和GPU实例闲置计费功能低成本构建Google Gemma服务

Google在2024年02月21日正式推出了首个开源模型族Gemma,并同时上架了2b和7b两个版本。您可以使用函数计算的GPU实例以及函数计算的闲置模式低成本快速部署Gemma模型服务。

问答 2023-11-15 来自:开发者社区

函数计算FC创建的自定义GPU函数已经挂载成功,如何才能让我的函数访问到nas的模型文件呢?

函数计算FC创建的自定义GPU函数已经挂载成功nas文件系统了,如何才能让我的函数访问到nas的模型文件呢?是否需要我再创建多一个admin的函数,参照官方SD的模型做法呢

问答 2023-11-14 来自:开发者社区

阿里函数计算中创建的自定义GPU函数后,需要使用模型的文件应该怎么放置啊?

阿里函数计算中创建的自定义GPU函数后,需要使用模型的文件应该怎么放置啊?因为模型文件比较大,没有打包在容器中。我看官方提供的SD模板,是创建一个模型管理函数使用的,那么我如果创建自定义的函数,都需要创建一个admin管理函数吗?使用nas也有不少成本。

问答 2023-09-01 来自:开发者社区

函数计算, 有个问题比较好奇, 1、如果GPU已经加载了模型到显存里,后面我不用了,这个显存预计

函数计算,有个问题比较好奇,1、如果GPU已经加载了模型到显存里,后面我不用了,这个显存预计多久会释放这些模型/ 2、在这个不释放的周期里,我也没下达出图的指令,请问是否产生费用 3、假如释放完了,我还要用这个模型,就会触发再次加载模型了对吧

问答 2023-07-12 来自:开发者社区

函数计算FC的gpu ecs自建sd,模型切换慢有什么解决方案吗?

函数计算FC的gpu ecs自建sd,模型切换慢有什么解决方案吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注