阿里云文档 2025-02-17

在GPU实例上部署DeepSeek-R1-Distill模型

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1-Distill模型推理服务。

阿里云文档 2025-02-12

使用vLLM镜像快速构建模型的推理环境

在GPU的实例上部署vLLM镜像后,可以帮助您快速且方便地构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分类或分析等自然语言处理业务场景,您无需深入了解底层硬件,也无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用vLLM容器镜像来快速构建大语言模型的推理服务。

文章 2025-02-10 来自:开发者社区

exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! 微信公众号|搜一搜:蚝油菜花 大家好,我是蚝油菜花,今天跟大家分享一下 exo 这个开源项目,它能让你利用家中的日常设备构建强大的 AI 集群。 快速阅读 exo 是一个开源项目,旨在让你利用家中的日常设备(如 iPhone...

exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型
文章 2025-01-16 来自:开发者社区

AI 场景下,函数计算 GPU 实例模型存储最佳实践

作者:有松 当前,函数计算 FC 已被广泛应用在各种 AI 场景下,函数计算支持通过使用容器镜像部署 AI 推理应用,并且提供多种选项来访问训练好的模型。为了帮助开发者高效地在函数计算上部署 AI 推理应用,并快速解决不同场景下的模型存储选型问题,本文将对函数计算的 GPU 模型存储的优缺点及适用场景进行对比分析,以期为您的模型存储决策提供帮助。 背景信息 ...

AI 场景下,函数计算 GPU 实例模型存储最佳实践
阿里云文档 2024-12-27

使用TensorRT-LLM构建模型的推理环境

在GPU的实例上安装推理引擎TensorRT-LLM,可以帮助您快速且方便地构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。

问答 2024-08-28 来自:开发者社区

docker gpu这个funasr的推理服务怎么跟sensevoice模型结合,需要预做哪些操作?

docker gpu这个funasr的推理服务怎么跟sensevoice模型结合,需要预做哪些操作?modelscope-funasr目前只能用给的两个paraformer模型吗?

问答 2024-08-21 来自:开发者社区

modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的参数量是一样的么?

modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的参数量是一样的么?

问答 2024-08-21 来自:开发者社区

modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的是一样的么?

modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的是一样的么?

问答 2024-08-07 来自:开发者社区

modelscope-funasr使用gpu转写服务部署指南,asr模型还是会需要导出为onnx吗?

modelscope-funasr使用gpu版本的离线文件转写服务部署指南,asr模型还是会需要导出为onnx吗?不可以直接使用pt吗?

问答 2024-08-07 来自:开发者社区

funasr的gpu的offline模式支持分角色模型吗?

funasr的gpu的offline模式支持分角色模型吗?看文档好像没有配置的地方

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注