GPU计算型（gn/ebm/scc系列）
本文为您介绍云服务器ECS GPU计算型实例规格族的特点，并列出了具体的实例规格。背景信息 在阅读各个实例规格族的特点及详细指标之前，您需要提前学习以下信息：了解实例规格命名及分类：帮助您更好地理解实例规格族的命名及分类信息，了解...
在GPU计算型实例中手动安装Tesla驱动（Windows）
在深度学习、AI等通用计算业务场景下，安装了Tesla驱动的GPU才能发挥高性能计算能力。Windows系统GPU计算型实例不支持在创建实例时自动安装Tesla驱动，您只能参考本文操作手动安装Tesla驱动。操作步骤 说明 本文适用于所有Windows系统GPU...
卸载GRID驱动
警告 GPU实例必须配备了相关驱动才可以正常使用，如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU实例与安装的驱动不匹配而造成业务无法正常进行的风险。在Windows操作系统中卸载GRID...
更换操作系统时如何取消自动安装Tesla驱动功能
创建GPU实例时，选择镜像后并同时选择了 安装GPU驱动 选项，则创建实例后会自动安装GPU（Tesla）驱动。如果因某种原因（例如当前使用的操作系统不能满足业务需求），您需要更换该GPU实例的操作系统，则同时也需要取消自动安装Tesla驱动功能...
升级Tesla或GRID驱动
升级GRID驱动（Windows）适用实例 仅以下Windows GPU实例规格族支持通过云助手升级GRID驱动：Windows系统GPU虚拟化型实例：vgn6i-vws、vgn7i-vws、sgn7i-vws Windows系统GPU计算型实例：gn7i、gn6i、ebmgn7i、ebmgn6i 操作步骤 下文以一台...
什么是集群极速部署工具FastGPU
FastGPU介绍 FastGPU作为衔接您的线下 人工智能 算法和线上阿里云海量 GPU 计算资源的关键一环，方便您将人工智能计算任务构建在阿里云的 IaaS 资源上。使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署...
使用限制
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的使用限制。本文介绍云服务器ECS在产品功能和服务性能上的不同限制，以及如何申请更高配额。限制概述 使用云服务器ECS有以下限制：仅弹性裸金属服务器和超级计算集群支持二次...
使用eRDMA镜像快速配置eRDMA
说明 关于实例的更多信息，请参见 GPU计算型（gn/ebm/scc系列）在容器内直接访问阿里云eRDMA网络。阿里云提供eRDMA和驱动、CUDA适配来保障功能的开箱即用。eRDMA Python：3.10.12 CUDA：12.1.1 cuDNN：8.9.0.131 NCCL：2.17.1 基础镜像：...
使用TensorRT-LLM构建模型的推理环境
说明 购买镜像时，系统镜像本身是免费的，您只需要支付GPU云服务器的费用。在实例购买页的 镜像 区域，查看 云市场镜像 页签下是否已选中所购买镜像。下图以购买的镜像被选中为例，如果镜像未被选中，则您需要继续单击 重新选择镜像，选择...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）的推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用...
【公告】GRID驱动变更通知
尊敬的阿里云用户，NVIDIA将于2023年7月31日后不再对FLS GRID License提供技术支持，且阿里云采购的FLS GRID License也将于2023年9月底到期，为了您的业务不受GRID驱动变更影响，建议您尽快将目前使用的GPU图形加速驱动（采用FLS GRID ...
在GPU计算型实例中手动安装Tesla驱动（Linux）
在深度学习、AI等通用计算业务场景或者OpenGL、Direct3D、云游戏等图形加速场景下，安装了Tesla驱动的GPU才可以发挥高性能计算能力，或提供更流畅的图形显示效果。如果您在创建GPU计算型实例（Linux）时未同时安装Tesla驱动，则需要在创建...
命令行使用说明
GPU：GPU规格和数量。instance_type：实例规格。参数说明：a：列出您当前阿里云账户下所有实例。会提供Key-Owner（密钥对）和instance_id（实例id）两个额外的信息。查询当前Linux账户下的实例：fastgpu ls 查询同一个阿里云账号不同Linux...
部署NGC环境构建深度学习开发环境
阿里云在云市场镜像中提供了针对NVIDIA Pascal GPU优化的NGC容器镜像，创建GPU实例时选择NGC容器镜像，可以简单快速地部署NGC容器环境，即时访问优化后的深度学习框架，极大程度缩减产品开发以及业务部署时间，实现开发环境的预安装；...
通过预装驱动的镜像加载GRID驱动
针对通用计算场景或图形加速场景，您可以在创建GPU实例时同步加载GRID驱动，也可以在创建GPU实例后通过云助手方式安装GRID驱动，配备了驱动的GPU实例才能提供更好的计算性能和图形渲染能力。本文为您介绍如何在创建GPU实例时通过选择预装...
使用DeepGPU-LLM镜像构建模型的推理环境
说明 DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，可以帮助您实现大语言模型在GPU上的高性能推理优化功能。更多信息，请参见 什么是推理引擎DeepGPU-LLM。准备工作 获取DeepGPU-LLM容器...
安装和使用Deepytorch Training
Deepytorch Training是阿里云自研的AI加速器，面向传统AI和生成式AI场景，在模型训练过程中，可提供显著的训练加速能力。本文主要介绍安装并使用Deepytorch Training的操作方法。说明 关于Deepytorch Training的更多信息，请参见 什么是...
Python SDK使用说明
您可以通过FastGPU提供的Python接口，将FastGPU集成到您的人工智能训练或推理脚本中，从而快速地实现云上部署和资源管理。本文为您介绍FastGPU的Python SDK相关使用说明。前提条件 客户端已安装Python 3.6或以上版本。说明 您的ECS实例、...
使用vLLM镜像快速构建模型的推理环境
在GPU的实例上部署vLLM镜像后，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分类或分析等自然语言处理业务场景，您无需深入了解...
使用SD-WebUI镜像加速文本生成图像
重要 阿里云不对第三方模型Stable Diffusion的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。您应自觉遵守第三方模型Stable Diffusion的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、...
安装并使用DeepNCCL
开发人员可以根据实际业务情况，在不同的GPU云服务器上安装DeepNCCL通信库，以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。说明 关于DeepNCCL的更多信息，请参见 什么是AI...
【公告】vgn5i和vgn6i停售通知
尊敬的阿里云用户，阿里云将于2023年11月1日起停止售卖vgn5i和vgn6i产品，且2024年2月1日后该产品将全面关闭（即存量实例会被强制关机下线），为了您的业务不受产品关闭影响，建议您尽快将目前使用的vgn5i和vgn6i升配为vgn6i-vws、sgn7i-...
什么是计算优化编译器AIACC-AGSpeed
AIACC-AGSpeed（AIACC 2.0-AIACC Graph Speeding）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，AIACC-AGSpeed是...
使用FastGPU一键部署并训练应用
在开发者实验室中，阿里云为您提供了使用FastGPU进行一键部署并训练应用的相关实验教程，例如针对图像分类应用、bert-perseus应用以及手势识别应用的教程。该教程基于 Cloud Shell提供的真实环境，您可以通过在线Web IDE（Cloud Shell内置...
什么是AI分布式训练通信优化库AIACC-ACSpeed
上图中，GPU0~GPU3或者GPU4~GPU7的各卡之间相互通过PCIe Bridge连接（PIX），而GPU0到GPU4~GPU7、GPU1到GPU4~GPU7、GPU2到GPU4~GPU7、GPU3到GPU4~GPU7之间需要通过socket之间的QPI/UPI接口连接（SYS）。优化方法 在原生NCCL通信库中，默认...
安装并使用DeepGPU-LLM
在处理大语言模型（LLM）任务中，您可以根据实际业务部署情况，选择在不同环境（例如GPU云服务器环境或Docker环境）下安装推理引擎DeepGPU-LLM，然后通过使用DeepGPU-LLM实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或...
什么是Deepytorch Training（训练加速）
Deepytorch Training是阿里云自研的AI训练加速器，为传统AI和生成式AI场景提供训练加速功能。本文主要介绍Deepytorch Training在训练加速上的概念、优势及特性等。Deepytorch Training介绍 Deepytorch Training面向传统AI和生成式AI场景，...
什么是AI通信加速库DeepNCCL
DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信...相关文档 针对分布式训练或者多卡推理中的AI通信场景，在不同的GPU云服务器上安装DeepNCCL通信库，可以加速分布式训练或推理性能。具体操作，请参见 安装并使用Deepnccl。
fabricmanager版本与Tesla驱动版本不一致导致GPU无法...
对于Ubuntu操作系统GPU计算型实例（即ebmgn7、ebmgn7e、ebmgn7ex或sccgn7ex），如果您采用安装包方式安装了nvidia-fabricmanager服务，则apt-daily服务可能会自动更新已安装的软件包，使得该软件版本与Tesla驱动版本不一致，产生版本兼容性...
AIACC-ACSpeed体验示例
AIACC-ACSpeed（简称ACSpeed）作为阿里云自研的AI训练加速器，在提高训练效率的同时能够降低使用成本，可以实现无感的分布式通信性能优化。ACSpeed软件包中已为您提供了适配DDP的示例代码，您可以参考本文快速体验使用ACSpeed进行模型分布...
AIACC-ACSpeed性能数据
测试版本 ACSpeed版本：1.0.2 Cuda版本：11.1 torch版本：1.8.1+cu111 实例类型：某8卡GPU实例 训练性能效果 本文以AIACC-ACSpeed（简称ACSpeed）v1.0.2版本在阿里云某8卡机器上的多机性能数据为例，通过测试不同场景下的模型，展示ACSpeed...
安装和使用AIACC-ACSpeed
前提条件 已创建阿里云GPU实例，且GPU实例需满足以下要求：操作系统为Alibaba Cloud Linux、CentOS 7.x、Ubuntu 16.04或以上版本。已安装NVIDIA Driver和CUDA 10.0或以上版本。支持的版本列表 AIACC-ACSpeed（本文简称ACSpeed）v1.1.0支持...
通过YUM方式快速安装NVIDIA Tesla驱动（Alibaba Cloud...
针对Alibaba Cloud Linux 3系统的GPU计算型实例，如果创建实例时未自动安装NVIDIA Tesla驱动，通过手动方式安装该驱动时，需要您先下载软件包，然后编译安装并配置CUDA等组件，操作比较繁琐，而采用YUM方式可以快速安装NVIDIA Tesla驱动及...
重启GPU实例后导致Persistence Mode属性开启失效，...
在GPU计算型实例中安装高版本Tesla驱动（例如驱动版本为535或更高版本）后，通过 nvidia-smi-pm 1 命令方式开启Persistence Mode属性，可能会因为驱动版本过高，重启实例后导致该属性开启失效，同时ECC状态或MIG功能设置也失败，本文介绍...
应用程序在低版本CUDA环境中运行时报错
对于Linux操作系统虚拟化型GPU实例，安装了GRID驱动和低版本的CUDA后，可能会因为CUDA版本受限于GPU的驱动版本，导致依赖高版本CUDA的应用程序在该低版本CUDA环境中运行时报错，本文介绍这种情况的解决方案。问题现象 对于Linux操作系统...
DeepGPU-LLM API接口说明及示例
DeepGPU-LLM作为阿里云开发的一套推理引擎，旨在优化大语言模型在GPU云服务器上的推理过程，为您提供免费的高性能、低延迟推理服务。DeepGPU-LLM提供了一系列的API接口（例如模型加载、模型推理等功能），在GPU云服务器上成功安装DeepGPU-...
使用PyTorch时出现“undefined symbol:_...
在Linux系统GPU实例中，可能会因为GPU实例所安装的CUDA版本与PyTorch版本不兼容，导致使用PyTorch时出现报错现象，本文介绍这种情况的解决方案。问题现象 在Linux系统（例如Alibaba Cloud Linux 3操作系统）GPU实例中使用PyTorch时，出现...
安装和使用Deepytorch Inference
Deepytorch Inference是阿里云自研的AI推理加速器，针对Torch模型，可提供显著的推理加速能力。本文主要介绍安装并使用Deepytorch Inference的操作方法，以及推理效果展示。背景信息 Deepytorch Inference通过调用 deepytorch_inference....
使用VNC登录实例
无法使用Workbench和第三方远程连接工具（例如PuTTY、Xshell、SecureCRT等）连接实例时，您可以通过VNC远程连接方式登录实例，查看云服务器ECS操作界面的实时状态。重要 自2023年7月10日起，远程连接工具VNC无需单独设置VNC登录密码，即可...
异构服务型
云服务器ECS异构服务型实例video-trans适用于视频转码、图像与视频内容处理以及帧图像提取等场景。通过本文您可以具体了解该实例的特点以及包含的实例规格和指标数据等。video-trans特点 提供专属硬件资源和物理隔离 高密度转码，例如显示...
- 产品推荐
- 这些文档可能帮助您