阿里云文档 2025-03-18

如何本地部署DeepSeek

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。

阿里云文档 2025-03-17

本地部署通义千问QwQ-32B模型

通义千问QwQ-32B是阿里云开源的320亿参数推理模型,通过大规模强化学习在数学推理、编程及通用任务中实现性能突破,支持消费级显卡本地部署,兼顾高效推理与低资源消耗。本文将介绍如何利用vLLM作为通义千问QwQ-32B模型的推理框架,在一台阿里云GPU实例上构建通义千问QwQ-32B的推理服务。

阿里云文档 2025-03-17

如何本地部署DeepSeek

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。

阿里云文档 2025-03-11

在GPU实例上部署SD-WebUI容器镜像加速文生图

对于需要文生图的业务场景,通过使用Stable Diffusion模型可以实现文生图功能。相比未使用DeepGPU加速的情况,借助DeepGPU可以加速Stable Diffusion模型的计算和推理性能。例如,文本生成分辨率为512x512图像的情况下,使用DeepGPU功能其加速性能可能提升约88%。本文为您介绍如何在GPU实例上部署SD-WebUI容器镜像以加速文生图。

文章 2024-11-20 来自:开发者社区

在云上部署ChatGLM2-6B大模型(GPU版)

本场景将提供一台配置了Alibaba Cloud Linux 3操作系统的GPU实例。通过本教程的操作,您可以在一台Alibaba Cloud Linux 3的GPU云服务器上,安装大模型运行环境(包括Anaconda、Pytorch等的),部署大语言模型,使用streamlit运行大模型对话模型网页demo。 ...

在云上部署ChatGLM2-6B大模型(GPU版)
问答 2024-09-07 来自:开发者社区

在云上部署ChatGLM2-6B大模型(GPU版)这个实验,最后无法访问网址

You can now view your Streamlit app in your browser. Local URL: http://localhost:8501 Network URL: http://172.18.4.13:8501 External URL: http://8.154.36.124:8501 访问:http://8.154.36.124:8501/提示:40...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注