GPU服务器_GPU云服务器(EGS) | 什么是GPU云服务器
下表为您介绍GPU云服务器与自建GPU服务器的区别。对比项GPU云服务器GPU自建服务器灵活性能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持...
使用DeepGPU-LLM容器镜像快速构建大语言模型在GPU上的推理... | 使用DeepGPU-LLM镜像快速构建模型的推理环境
系统、文本分析、编程辅助等自然语言处理业务场景，您无需深入了解底层的硬件优化细节，镜像拉取完成后，无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用...
基本概念
弹性供应组用于快速部署多可用区、多实例规格的ECS实例集群，通过多种供应策略组合使用抢占式实例和按量付费实例，满足对低成本和高稳定性的要求。标签由一对键值...
阿里云异构计算产品总览
目前所有神行工具包中的组件都是免费搭配阿里云GPU服务器使用，帮助用户更方便、更高效地使用阿里云上的GPU资源。神行工具包主要包括以下几个组件：AI加速器...
GPU服务器计费规则及续费退费说明_GPU云服务器(EGS) | GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式一台GPU实例包括计算资源（vCPU、...
创建GPU实例
部署集部署集支持高可用策略，部署集内实例会严格分散在不同的物理服务器上，保证业务的高可用性和底层容灾能力。选择已有的部署集，或者单击管理部署集即时创建...
GPU云服务器安全性说明
GPU云服务器的云上安全性是阿里云和客户的共同责任，是阿里云在面对当前的网络安全形势和挑战时所采取的措施，以及提高用户在使用账号、实例、操作系统和资源等方面...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发...GPU云服务器适用的API和云服务器ECS一致，详情请参见ECS API简介和ECS API概览。
在GPU实例的Docker环境中快速配置eRDMA提升网络性能_GPU... | 使用eRDMA镜像快速配置eRDMA
sudo ssh-keygen sudo ssh-copy-id-i~/.ssh/id_rsa.pub${host 2}在host 2中的容器内，执行以下命令，安装SSH服务并指定SSH服务器的监听端口号为12345。sudo apt-get update&apt-get...
什么是神行工具包（DeepGPU）
目前，所有神行工具包中的组件都可以免费搭配阿里云GPU服务器和ACK容器环境使用，方便您更方便、更高效地使用阿里云的云上GPU资源。神行工具包主要包括以下组件：...
创建GPU实例时自动安装或加载Tesla驱动
说明为优化神龙架构GPU服务器的网络性能，阿里云推出了sccgn 7 ex实例规格，该规格机型配备了具有超强计算能力的GPU和RDMA（Remote Direct Memory Access）高性能网络服务。...
在GPU实例上部署SD-WebUI容器镜像快速将文本生成图像_GPU... | 使用SD-WebUI镜像快速将文本生成图像
用。对于需要文本生成图像的业务场景，在GPU实例上部署SD-WebUI容器镜像后可以提供更快的计算速度和更高的推理性能。本文为您介绍如何在GPU实例上部署SD-WebUI容器...
使用DeepGPU-LLM实现大语言模型在GPU上的推理优化_GPU云服务器... | 安装并使用DeepGPU-LLM
shm-size 5 g pytorch/pytorch:2.1.0-cuda 12.1-cudnn 8-devel主要参数说明如下：参数项说明-shm-size指定容器的共享内存大小，其大小会影响Triton服务器部署。例如：shm-size 5 g表示...
快速部署TensorRT-LLM构建大语言模型的推理环境
在GPU的实例上安装推理引擎TensorRT-LLM，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要...
使用GPU遇到的功能或操作问题_GPU云服务器(EGS) | 常见问题
为了有效排查和解决GPU云服务器的相关问题，本文为您汇总了使用GPU时遇到的一些常见问题。类别相关问题GPU实例GPU实例支持安卓模拟器吗？GPU实例的配置支持变更吗？...
使用RAM进行GPU产品的访问控制_GPU云服务器(EGS) | 使用RAM进行访问控制
GPU云服务器使用RAM进行访问控制时，其身份管理、权限策略以及服务关联角色与云服务器ECS一致，具体说明如下：身份管理使用RAM用户和RAM角色，通过授权来访问和管理...
GPU及神行工具包（DeepGPU）的优势_GPU云服务器(EGS) | 产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的...
介绍GPU产品和神行工具包（DeepGPU）的应用场景_GPU云服务器(EGS) | 应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和...
实例命名规则
GPU命名示例本示例以GPU计算型和GPU虚拟化型实例规格族为例，展示GPU实例规格的命名含义。GPU计算型示例1：ecs.sccgn 6.24 xlarge表示超级计算集群sccgn 6中的一个实例...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，以满足您的实际...
释放GPU实例_GPU云服务器(EGS) | 释放实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。当您不再需要某个GPU实例提供服务时，您可以释放该实例，以免产生额外的费用，本文主要介绍...
如何重启GPU实例？GPU云服务器(EGS) | 重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件待重启的实例必须处于运行中状态。背景信息重启...
如何启动GPU实例？GPU云服务器(EGS) | 启动实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何在ECS管理控制台上启动实例。前提条件实例满足以下条件之一：实例处于已停止...
GPU功能和对应文档动态_GPU云服务器(EGS) | 功能发布记录
2024-09-12部分GPU计算型弹性裸金属服务器实例规格族ebmgn 8 is 2023年07月功能名称功能描述发布时间发布地域相关文档实例规格族发布GPU计算型弹性裸金属服务器实例规格族...
如何停止GPU实例？GPU云服务器(EGS) | 停止实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍停止ECS实例，以及VPC内实例节省停机模式相关操作。前提条件实例必须处于运行中状态...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务...
如何休眠GPU实例_GPU云服务器(EGS) | 休眠实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。如果您在某个时间段内无需运行ECS实例，也不会执行某些操作（如升降配等），建议您休眠ECS...
什么是AI通信加速库DeepNCCL
针对PCIe互连拓扑的通信优化特点，理论上，可以采用基于流水线的PS（Parameters Server：参数服务器）模式梯度规约算法CPU-Reduce大幅降低通信耗时。该算法按照GPU到CPU再到...
AI通信加速库DeepNCCL加速模型的分布式训练或推理性能_GPU... | 安装并使用DeepNCCL
DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库，能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际...
介绍GPU实例的连接方式和优势对比_GPU云服务器(EGS) | 连接方式概述
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的连接方式。ECS支持通过多种方式连接实例，包括阿里云提供的连接工具（例如Workbench、VNC等）和第三方...
GPU计算型（gn系列）
GPU计算型实例具有高性能、高并行计算能力，适用于大规模并行计算场景，可以为您的业务提供更好的计算性能和效率。本文为您介绍云服务器ECS GPU计算型实例规格族的...
命令行使用说明
您可以通过FastGPU的命令行，快速地部署云上GPU集群，管理资源的生命周期。还可以便捷地为集群安装深度学习环境，在集群运行代码，查看运行日志以及释放资源。前提条件...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，...
常用操作导航
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的操作方式。在使用云服务器ECS时，您可能会遇到各种问题，例如远程连接、更换操作系统、扩容云盘、升高或...
GPU虚拟化型
GPU虚拟化型实例具有高性能图形处理和GPU加速计算能力，适用于图形加速/渲染场景或通用计算业务场景。本文介绍为您介绍云服务器ECS GPU虚拟化型实例规格族的特点，并...
使用限制
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的使用限制。本文介绍云服务器ECS在产品功能和服务性能上的不同限制，以及如何申请更高配额。限制概述...
已停售的GPU实例规格
本文为您汇总了已停售的GPU实例规格族详情，请您根据业务需求（例如场景或计算能力）选择当前主售的实例规格族。说明关于在售实例规格的详细介绍，请参见实例规格...
神行工具包（DeepGPU）计费
计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU。更多信息，请参见什么是神行工具包（DeepGPU）。该工具不需要额外支付费用，您只需为与其...
- 产品推荐
- 这些文档可能帮助您