GPU云服务器
GPU云服务器提供GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
阿里云异构计算产品总览
作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，同时实现GPU计算资源的即开即用和弹性伸缩。满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。更多信息，请参见 什么是GPU云服务器。神行工具包...
GPU云服务器安全性说明
GPU云服务器的云上安全性是阿里云和客户的共同责任，是阿里云在面对当前的网络安全形势和挑战时所采取的措施，以及提高用户在使用账号、实例、操作系统和资源等方面的安全性所具备的能力。GPU云服务器的云上安全性涉及的内容与云服务器ECS...
应用场景
GPU云服务器应用场景 直播实时视频转码 阿里云GPU云服务器重点支持2019年天猫双11狂欢夜直播的实时视频转码，以高画质、低带宽、高分辨率、实时的综合优势服务于天猫双11狂欢夜当天直播业务4K、2K、1080P等各个分辨率的转码。具体说明如下...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
使用RAM进行访问控制
GPU云服务器使用RAM进行访问控制时，其身份管理、权限策略以及服务关联角色与云服务器ECS一致，具体说明如下：身份管理 使用RAM用户和RAM角色，通过授权来访问和管理阿里云账号（即主账号）下的资源。更多信息，请参见 身份管理。基于身份...
ACK支持的GPU实例规格族
GPU计算型实例规格族gn8v GPU计算型实例规格族gn8is GPU计算型实例规格族gn7e GPU...GPU计算型弹性裸金属服务器实例规格族ebmgn8v GPU计算型弹性裸金属服务器实例规格族ebmgn8is GPU计算型弹性裸金属服务器实例规格族ebmgn7ex GPU计算型弹性裸...
Serverless GPU概述
Serverless GPU是一种新兴的云计算GPU服务，它采用了服务器无感知计算的理念，通过提供一种按需分配的GPU计算资源，有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文介绍Serverless GPU的详细...
Serverless GPU概述
Serverless GPU是一种新兴的云计算GPU服务，它采用了服务器无感知计算的理念，通过提供一种按需分配的GPU计算资源，有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文介绍Serverless GPU的详细...
部署GPU云服务器
请按照标签顺序依次点击 新建 应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。修改自定义登录密码。在 实例...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
ECS配额管理
ecs_gn7v_prepay_g 包年包月的(ebm)gn7/gn7v系列GPU实例卡数上限 GPU计算型实例规格族gn7 GPU计算型弹性裸金属服务器实例规格族ebmgn7 q_ecs_gn7e_prepay_g 包年包月的(ebm)gn7e/gn7ex 系列GPU实例卡数上限 GPU计算型实例规格族gn7e GPU...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
GPU计算型（gn/ebm/scc系列）
GPU计算型弹性裸金属服务器实例规格族ebmgn8v GPU计算型弹性裸金属服务器实例规格族ebmgn8is GPU计算型弹性裸金属服务器实例规格族ebmgn7ex GPU计算型弹性裸金属服务器实例规格族ebmgn7e GPU计算型弹性裸金属服务器实例规格族ebmgn7ix GPU...
实例命名规则
命名规则 阿里云云服务器ECS提供了多种实例规格族，一种实例规格族又包括多个实例规格。其中，实例规格族名称格式为 ecs.规格族，实例规格名称为 ecs.规格族.nx large。实例具体命名含义如下所示：ecs：云服务器ECS的产品代号。规格族：由...
已停售的GPU实例规格
采用NVIDIA M40 GPU计算卡 计算：多种处理器与内存配比 处理器：2.5 GHz主频的Intel ® Xeon ® E5-2682 v4（Broadwell）存储：I/O优化实例 仅支持SSD云盘和高效云盘 网络：实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：...
Tesla或GRID驱动安装指引
实例类型如下：GPU计算型实例：请查阅 GPU计算型实例规格 GPU虚拟化型实例：vgn6i-vws、sgn7i-vws、vgn7i-vws 说明 GPU计算型实例支持安装NVIDIA官网提供的驱动（Tesla驱动），您可通过自动方式或手动方式安装Tesla驱动。而对于GPU虚拟化型...
常见问题
为了有效排查和解决GPU云服务器的相关问题，本文为您汇总了使用GPU时遇到的一些常见问题。类别 相关问题 GPU实例 GPU实例支持安卓模拟器吗？GPU实例的配置支持变更吗？普通ECS实例规格族是否支持升级或变更为GPU实例规格族？如何在GPU实例...
在GPU计算型实例中手动安装Tesla驱动（Windows）
操作步骤 说明 本文适用于所有Windows系统GPU计算型实例，更多信息，请参见 GPU计算型（gn系列）。步骤一：下载Tesla驱动 远程连接Windows系统的GPU实例。具体操作，请参见 使用Workbench工具以RDP协议登录Windows实例。在远程桌面中，访问...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
应用场景
其中FPGA H.265高清编码、720P节省带宽21.6%，GPU云服务器支持高并发实时视频流5000路以上，并逐步上升到峰值6200路每分钟，且顺利度过洪峰。异构GPU云服务器还参与实时家居渲染图片生成等业务，首次提供了大量算力强劲的ebmgn6v裸金属实例...
GPU云产品选型决策指引
传统GPU使用场景存在资源利用率低、使用成本高和弹性能力弱等痛点问题，而Serverless GPU提供了一种更加灵活的方式来利用GPU计算资源，您只需根据自己的实际需求选择合适的GPU型号和计算资源规模即可。本文介绍如何根据您的业务情况选择...
视觉计算型
本文介绍云服务器ECS视觉计算型实例规格族的特点，并列出了具体的实例规格。视觉计算型实例规格族ebmgi6s ebmgi6s的特点如下：基于阿里云神龙架构及Intel ® Server GPU，为您提供快速弹性扩展的安全架构及最新高密度云手游渲染实例。可...
重启GPU实例后导致Persistence Mode属性开启失效，...
在GPU计算型实例中安装高版本Tesla驱动（例如驱动版本为535或更高版本）后，通过 nvidia-smi-pm 1 命令方式开启Persistence Mode属性，可能会因为驱动版本过高，重启实例后导致该属性开启失效，同时ECC状态或MIG功能设置也失败，本文介绍...
通过YUM方式快速安装NVIDIA Tesla驱动（Alibaba Cloud...
针对Alibaba Cloud Linux 3系统的GPU计算型实例，如果创建实例时未自动安装NVIDIA Tesla驱动，通过手动方式安装该驱动时，需要您先下载软件包，然后编译安装并配置CUDA等组件，操作比较繁琐，而采用YUM方式可以快速安装NVIDIA Tesla驱动及...
安装并使用DeepNCCL
开发人员可以根据实际业务情况，在不同的GPU云服务器上安装DeepNCCL通信库，以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。说明 关于DeepNCCL的更多信息，请参见 什么是AI...
使用DeepGPU-LLM镜像快速构建模型的推理环境
说明 DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，可以帮助您实现大语言模型在GPU上的高性能推理优化功能。更多信息，请参见 什么是推理引擎DeepGPU-LLM。准备工作 获取DeepGPU-LLM容器...
快速部署TensorRT-LLM构建大语言模型的推理环境
说明 购买镜像时，系统镜像本身是免费的，您只需要支付GPU云服务器的费用。在实例购买页的 镜像 区域，查看 云市场镜像 页签下是否已选中所购买镜像。下图以购买的镜像被选中为例，如果镜像未被选中，则您需要继续单击 重新选择镜像，选择...
使用限制
hfg7、hfc7、hfr7、hfg6、hfc6、hfr6、hfg5、hfc5 GPU计算型：gn7、gn6i、gn6e、gn6v、gn5、gn5i 弹性裸金属服务器：ebmgn7、ebmgn6i、ebmgn6e、ebmg6、ebmc6、ebmr6、ebmhfg6、ebmhfc6、ebmhfr6 突发型：t6、t5 无 说明 更多信息，请参见 ...
更换操作系统时如何取消自动安装Tesla驱动功能
创建GPU实例时，选择镜像后并同时选择了 安装GPU驱动 选项，则创建实例后会自动安装GPU（Tesla）驱动。如果因某种原因（例如当前使用的操作系统不能满足业务需求），您需要...具体操作，请参见 在GPU计算型实例中手动安装Tesla驱动（Linux）。
在GPU计算型实例中手动安装Tesla驱动（Linux）
如果您在创建GPU计算型实例（Linux）时未同时安装Tesla驱动，则需要在创建GPU实例后，单独手动安装Tesla驱动（Linux）。本文为您介绍如何为Linux系统的GPU计算型实例手动安装Tesla驱动。说明 如果GPU实例为Alibaba Cloud Linux 3操作系统的...
内核更新时无法正常加载NVIDIA GPU（Tesla）驱动
具体操作，请参见 在GPU计算型实例中手动安装Tesla驱动（Linux）。安装过程中，请注意以下几点：出现以下提示（即是否将内核模块源代码注册到DKMS）时，选择 Yes。选择 Yes 后NVIDIA GPU可能会报注册失败提示（如下图所示），您无需担心，...
升级Tesla或GRID驱动
Windows：在GPU计算型实例中安装Tesla驱动（Windows）Liunx：在GPU计算型实例中安装Tesla驱动（Linux）升级 NVIDIA GRID驱动 确认是否需要升级 GRID 驱动 升级GRID驱动前，请先判断当前实例的GRID驱动是否需要升级，然后再根据实际情况选择...
什么是推理引擎DeepGPU-LLM
产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性和广泛适用性，旨在优化大语言模型在GPU云服务器上的推理过程，通过优化和并行计算等技术手段，为您提供免费的高性能、低延迟推理服务。DeepGPU-LLM的关联布局图如下所示：...
创建GPU实例时自动安装或加载Tesla驱动
通过预装驱动的云市场镜像自动加载驱动 部分GPU计算型实例（Linux）的云市场镜像中已预装了NVIDIA Tesla驱动，该镜像供您免费使用。您可以在 云市场镜像 中选择已预装了 Tesla驱动 的免费镜像，创建GPU实例时选用该镜像也会同步加载 Tesla...
- 产品推荐
- 这些文档可能帮助您