问答 2024-09-29 来自:开发者社区

客户在GPU服务器上运行nvidia-smi工具时出现驱动无法通信错误,同时涉及内核升级、集群...

客户在GPU服务器上运行nvidia-smi工具时出现驱动无法通信错误,同时涉及内核升级、集群版本更新以及相关操作后的问题排查

文章 2024-09-09 来自:开发者社区

GPU通信互联技术:GPUDirect、NVLink与RDMA

在高性能计算和深度学习领域,GPU的强大计算能力已成为不可或缺的工具。然而,随着模型复杂度和数据量的增加,单个GPU已无法满足需求,多个GPU甚至多台服务器协同工作成为常态。这就要求高效的GPU互联通信技术,以确保数据传输的高带宽和低延迟。本文将详细探讨三种主要的GPU通信互联技术:GPUDirect、NVLink和RDMA。 目录 一、GPUDirect技术 1. 什么...

GPU通信互联技术:GPUDirect、NVLink与RDMA
阿里云文档 2024-05-13

使用AI通信加速库DeepNCCL加速模型的分布式训练或推理性能

DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库,能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况,在不同的GPU云服务器上安装DeepNCCL通信库,以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。

阿里云文档 2024-05-09

AI通信加速库DeepNCCL的架构、性能以及优化原理

DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍DeepNCCL的架构、优化原理和性能说明。

文章 2024-01-26 来自:开发者社区

【Hello AI】安装并使用Deepnccl-多GPU互联的AI通信加速库

$stringUtil.substring( $!{XssContent1.description},200)...

【Hello AI】安装并使用Deepnccl-多GPU互联的AI通信加速库
阿里云文档 2023-11-02

什么是AI分布式训练通信优化库AIACC-ACSpeed

AIACC-ACSpeed(AIACC 2.0-AIACC Communication Speeding)是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本,AIACC-ACSpeed基于模块化的解耦优化设计方案,实现了分布式训练在兼容性、适用性和性能加速等方面的升级。

文章 2022-02-17 来自:开发者社区

伯克利与微软联合发布:任意网络结构下的最优GPU通信库Blink

在分布式机器学习中,随着 GPU 的算力不断提升,GPU 之间的通信逐渐成为模型训练的瓶颈。为解决该问题,由微软研究院 (Microsoft Research),加州大学伯克利分校 (UC Berkeley),以及威斯康星大学麦迪逊分校 (University of Wisconsin-Madison) 的研究团队共同推出&#...

伯克利与微软联合发布:任意网络结构下的最优GPU通信库Blink
文章 2022-02-17 来自:开发者社区

浅析GPU通信技术(下)-GPUDirect RDMA

$stringUtil.substring( $!{XssContent1.description},200)...

文章 2022-02-17 来自:开发者社区

浅析GPU通信技术(中)-NVLink

$stringUtil.substring( $!{XssContent1.description},200)...

文章 2022-02-17 来自:开发者社区

浅析GPU通信技术(上)-GPUDirect P2P

目录 浅析GPU通信技术(上)-GPUDirect P2P 浅析GPU通信技术(中)-NVLink 浅析GPU通信技术(下)-GPUDirect RDMA 1. 背景 GPU在高性能计算和深度学习加速中扮演着非常重要的角色, GPU的强大的并行计算能力,大大提升了运算性能。随着运算数据量的不断攀升,GPU间需要大量的交换数据,GPU通信性能成为了非常重要的指标。NVIDIA推出的GPUDir...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

做技术先进、性能优异、稳如磐石的弹性计算!

+关注