GPU云服务器
GPU云服务器提供GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。
GPU云服务器安全性说明
GPU云服务器的云上安全性是阿里云和客户的共同责任，是阿里云在面对当前的网络安全形势和挑战时所采取的措施，以及提高用户在使用账号、实例、操作系统和资源等方面的安全性所具备的能力。GPU云服务器的云上安全性涉及的内容与云服务器ECS...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
使用RAM进行访问控制
GPU云服务器使用RAM进行访问控制时，其身份管理、权限策略以及服务关联角色与云服务器ECS一致，具体说明如下：身份管理 使用RAM用户和RAM角色，通过授权来访问和管理阿里云账号（即主账号）下的资源。更多信息，请参见 身份管理。基于身份...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）的推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，...涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU 云服务器》最佳实践
部署GPU云服务器
请按照标签顺序依次点击 新建 应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。修改自定义登录密码。在 实例...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
异构计算产品最佳实践概览
GPU云服务器 部署NGC环境构建深度学习开发环境 以搭建TensorFlow深度学习框架为例，介绍如何在GPU实例上部署NGC环境以实现深度学习开发环境的预安装。使用eRDMA容器镜像快速配置eRDMA提升网络性能 将eRDMA功能引入容器（Docker）环境提供更...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
安装共享GPU调度组件
已创建 ACK集群Pro版 且集群实例规格架构设置为 GPU云服务器，请参见 创建ACK托管集群。已获取集群KubeConfig并通过kubectl工具连接集群。使用限制 请勿将共享GPU调度的节点的CPU Policy设置为 static。cGPU服务的隔离功能不支持以UVM的...
安装并使用DeepNCCL
开发人员可以根据实际业务情况，在不同的GPU云服务器上安装DeepNCCL通信库，以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。说明 关于DeepNCCL的更多信息，请参见 什么是AI...
使用DeepGPU-LLM镜像构建模型的推理环境
说明 DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，可以帮助您实现大语言模型在GPU上的高性能推理优化功能。更多信息，请参见 什么是推理引擎DeepGPU-LLM。准备工作 获取DeepGPU-LLM容器...
使用TensorRT-LLM构建模型的推理环境
说明 购买镜像时，系统镜像本身是免费的，您只需要支付GPU云服务器的费用。在实例购买页的 镜像 区域，查看 云市场镜像 页签下是否已选中所购买镜像。下图以购买的镜像被选中为例，如果镜像未被选中，则您需要继续单击 重新选择镜像，选择...
GPU云服务器（gn/vgn/sgn系列）
作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。背景信息 在阅读各个实例规格族的特点及详细指标之前，您需要提前学习以下信息：了解实例规格命名...
从0快速搭建个人版“对话大模型”
本教程介绍如何在阿里云GPU云服务器上基于 Alpaca大模型 快速搭建个人版“对话大模型”。背景信息 Alpaca大模型 是一款基于LLaMA的大语言模型，它可以模拟自然语言进行对话交互，并协助用户完成写作、翻译、编写代码、生成脚本等一系列创作...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
共享GPU调度概述
本文为您介绍阿里云共享GPU方案、共享GPU专业版的优势、共享GPU的基础版与专业版的功能对比及使用场景，帮助您了解和更好地使用共享GPU的能力。视频介绍 背景介绍 阿里云 容器服务 Kubernetes 版 ACK（Container Service for Kubernetes）...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
接入Nvidia GPU监控数据
Nvidia GPU服务器中提供多项监控指标，您可以将Nvidia GPU服务器中的监控指标接入到全栈可观测应用中，进行可视化展示。前提条件 已创建实例。具体操作，请参见 创建实例。步骤一：安装NVIDIA GPU驱动 日志服务 使用 nvidia-smi 命令采集...
Designer中GPU服务器及对应算法组件下线
Designer中GPU服务器及对应算法组件下线，后续可使用云原生版本 停止服务内容 因当前提供服务的V100、P100服务器集群即将过保，PAI将在2024年3月1日正式下线Designer中的TensorFlow(GPU)、MXNet、PyTorch算法组件。您后续可继续使用云原生...
创建弹性裸金属服务器实例
背景信息 创建弹性裸金属服务器实例和创建普通云服务器实例的步骤类似，本文仅介绍弹性裸金属特有的基本配置项，如果您想了解其他通用配置，请参见 自定义购买实例。操作步骤 登录 ECS管理控制台。在左侧导航栏，选择 实例与镜像 实例。...
创建GPU实例时自动安装或加载Tesla驱动
说明 为优化神龙架构GPU服务器的网络性能，阿里云推出了sccgn7ex实例规格，该规格机型配备了具有超强计算能力的GPU和RDMA（Remote Direct Memory Access）高性能网络服务。如果您选择了sccgn7ex实例，则需要根据自身业务，选择是否自动安装...
sccgn系列实例使用说明及验证
为进一步优化神龙架构GPU服务器的网络性能，阿里云推出了GPU计算型超级计算集群实例规格族，即sccgn系列实例，该系列机型具备了超强的计算能力和网络通信能力。本文为您介绍sccgn系列实例的使用说明及性能验证。使用说明 sccgn系列机型同时...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
GPU虚拟化型（vgn/sgn系列）
本文为您介绍云服务器ECS GPU虚拟化型实例规格族的特点，并列出了具体的实例规格。GPU虚拟化型实例规格族sgn8ia GPU虚拟化型实例规格族sgn7i-vws（共享CPU）GPU虚拟化型实例规格族vgn7i-vws GPU虚拟化型实例规格族vgn6i-vws GPU虚拟化型...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
启动实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何在ECS管理控制台上启动实例。前提条件 实例满足以下条件之一：实例处于 已停止 状态。按量付费实例处于 已过期 状态，您已经结清欠费账单但自动重开机...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
释放实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。当您不再需要某个GPU实例提供服务时，您可以释放该实例，以免产生额外的费用，本文主要介绍释放按量付费实例（包括抢占式实例）和已到期的包年包月实例。前提条件 ...
停止实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍停止ECS实例，以及VPC内实例节省停机模式相关操作。前提条件 实例必须处于 运行中 状态。警告 停止实例会中断您的业务，请谨慎执行。停止包年包月实例 说明...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
- 产品推荐
- 这些文档可能帮助您