阿里云文档 2025-03-18

如何本地部署DeepSeek

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。

阿里云文档 2025-03-17

本地部署通义千问QwQ-32B模型

通义千问QwQ-32B是阿里云开源的320亿参数推理模型,通过大规模强化学习在数学推理、编程及通用任务中实现性能突破,支持消费级显卡本地部署,兼顾高效推理与低资源消耗。本文将介绍如何利用vLLM作为通义千问QwQ-32B模型的推理框架,在一台阿里云GPU实例上构建通义千问QwQ-32B的推理服务。

高性能

一键训练大模型及部署 GPU 共享推理服务

通过创建 ACK 集群 Pro 版,使用云原生 AI 套件提交模型微调训练任务与部署 GPU 共享推理服务。支持快速创建 Kubernetes 集群,白屏配置任务数据共享存储和下载,并通过命令行工具 Arena 快速提交模型训练任务、部署推理服务。使用云原生 AI 套件可以让模型训练和推理提效,提高 GPU 资源利用率。
技术解决方案背景图
阿里云文档 2025-03-17

如何本地部署DeepSeek

DeepSeek-V3/R1是拥有600B以上参数量的专家混合(MoE)模型,并已经开源了模型权重。本文为您介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。

文章 2025-03-14 来自:开发者社区

一键部署谷歌最新开源多模态AI模型 Gemma 3:单GPU性能碾压Llama!支持35+种语言

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 “谷歌放大招!Gemma 3 开源多模态 AI 模型来了:35+语言支持,高分辨率图像处理,单 GPU 也能起...

一键部署谷歌最新开源多模态AI模型 Gemma 3:单GPU性能碾压Llama!支持35+种语言
文章 2025-02-28 来自:开发者社区

部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足

春节期间,DeepSeek作为一款基于深度学习的智能推理模型,因其在自然语言处理、图像识别等领域的卓越表现迅速走红。无论是企业级应用还是学术研究,DeepSeek都展现出了强大的潜力。然而,随着其应用场景的不断扩展,数据中心的算力瓶颈问题逐渐凸显。 面对算力不足的挑战,阿里云推出的ACK One注册集群为企业提供了一种灵活、高效的解决方案。通过将本地数据中心的K8S集群接入阿里...

部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足
文章 2025-02-28 来自:开发者社区

部署DeepSeek但IDC GPU不足,阿里云ACK Edge虚拟节点来帮忙

阿里云ACK Edge集群采用云边一体化架构,云上托管Kubernetes控制面,接入IDC机器做为Kubernetes集群数据面节点。实现IDC机器的Kubernetes容器化管理,实现现有资源的利旧,提高应用的部署运维效率。 目前AI大模型业务快速发展,ACK Edge已经帮助大量客户管理IDC中GPU机器,使用容器快速部署AI大模型推理业务。但随着DeepSeek发布R1...

部署DeepSeek但IDC GPU不足,阿里云ACK Edge虚拟节点来帮忙
文章 2025-02-28 来自:开发者社区

部署 DeepSeek 但 GPU 不足,ACK One 注册集群助力解决 IDC GPU 资源不足

春节期间,DeepSeek 作为一款基于深度学习的智能推理模型,因其在自然语言处理、图像识别等领域的卓越表现迅速走红。无论是企业级应用还是学术研究,DeepSeek 都展现出了强大的潜力。然而,随着其应用场景的不断扩展,数据中心的算力瓶颈问题逐渐凸显。面对算力不足的挑战,阿里云推出的 ACK One 注册集群为企业提供了一种灵活、高效的解决方案。通过将本地数据中心的 K8s 集群接入阿里云 AC....

部署 DeepSeek 但 GPU 不足,ACK One 注册集群助力解决 IDC GPU 资源不足
文章 2025-02-21 来自:开发者社区

部署DeepSeek但IDC GPU不足,阿里云ACK Edge虚拟节点来帮忙

【阅读原文】戳:部署DeepSeek但IDC GPU不足,阿里云ACK Edge虚拟节点来帮忙 阿里云ACK Edge集群采用云边一体化架构,云上托管Kubernetes控制面,接入IDC机器做为Kubernetes集群数据面节点。实现IDC机器的Kubernetes容器化管理,实现现有资源的利旧,提高应用的部署运维效率。 目前AI大模型业务快速发展...

部署DeepSeek但IDC GPU不足,阿里云ACK Edge虚拟节点来帮忙
文章 2025-02-14 来自:开发者社区

部署DeepSeek,你的GPU够用吗?

引言 随着DeepSeek的热度不断攀升,关于如何复现或部署DeepSeek的文章层出不穷。无论是直接在官网使用,还是通过三方平台调用,无论是API接入亦或是本地及云端部署,归根结底还是在根据具体的情况从性能、费用和安全性的不可能三角中寻找平衡。 对大多数普通用户来说,第三方平台提供的网页、客户端和 API 服务可能是最便捷的选择。例如,阿里云推出的百炼API调用,具体...

部署DeepSeek,你的GPU够用吗?
文章 2025-02-13 来自:开发者社区

部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足

【阅读原文】戳:部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足 春节期间,DeepSeek作为一款基于深度学习的智能推理模型,因其在自然语言处理、图像识别等领域的卓越表现迅速走红。无论是企业级应用还是学术研究,DeepSeek都展现出了强大的潜力。然而,随着其应用场景的不断扩展,数据中心的算力瓶颈问题逐渐凸显。 &nbs...

部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注