阿里云文档 2025-10-23

在ACK中快速体验大语言模型推理服务

ACK托管集群Pro版提供了测试环境和生产环境部署方案,在无需管理底层硬件与依赖的前提下,快速验证大模型的推理能力。解决开发者在本地验证大语言模型时面临的GPU资源不足和环境配置复杂等问题。

问答 2024-07-31 来自:开发者社区

在ModelScope上部署大模型RAG对话系统时,推荐使用的GPU服务器配置是什么?

在ModelScope上部署大模型RAG对话系统时,推荐使用的GPU服务器配置是什么?

问答 2024-05-01 来自:开发者社区

使用modelscope-inference在倚天上部署大模型,这个现在支持吗 ?

通过pai-eas使用modelscope-inference在倚天上部署大模型,这个现在支持吗 ?

问答 2024-03-12 来自:开发者社区

ModelScope中使用vLLM在两块显卡上部署大模型,需要使用nvlink桥接器吗?

ModelScope中使用vLLM在两块显卡上部署大模型,需要使用nvlink桥接器吗?

问答 2024-02-08 来自:开发者社区

在ModelScope中通过PAI-EAS部署两个大模型,例程请求返回400 ?

在ModelScope中通过PAI-EAS部署两个大模型,例程请求返回400 ?

问答 2023-11-15 来自:开发者社区

ModelScope有没有 Linux 系统完整部署大模型的文档啊?

ModelScope有没有 Linux 系统完整部署大模型的文档啊?就是我自己买的云服务器,部署大模型的文档

问答 2023-09-26 来自:开发者社区

ModelScope中可以在云服务器部署通义千问,然后调用大模型的API在其他页面输入问题和答案吗?

ModelScope中,可以在云服务器部署通义千问,然后调用大模型的API在其他页面输入和输出问题和答案吗?

问答 2023-08-12 来自:开发者社区

ModelScope的LLM部署后,大模型本身有没有提供metrics监控指标?

ModelScope的LLM部署后,大模型本身有没有提供metrics监控指标?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐