阿里云文档 2025-01-24

创建GPU实例时自动安装或加载Tesla驱动

针对通用计算场景或图形加速场景,您可以在创建GPU实例时自动安装或加载Tesla驱动,也可以在创建GPU实例后手动安装Tesla驱动,配备了驱动的GPU实例才能提供更好的计算性能和图形渲染能力。本文介绍如何在创建GPU实例时自动安装或加载Tesla驱动。

阿里云文档 2024-12-27

使用TensorRT-LLM构建模型的推理环境

在GPU的实例上安装推理引擎TensorRT-LLM,可以帮助您快速且方便地构建大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)的推理环境,主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。

阿里云文档 2024-12-23

安装并使用DeepGPU-LLM进行大语言模型的推理服务

在处理大语言模型(LLM)任务中,您可以根据实际业务部署情况,选择在不同环境(例如GPU云服务器环境或Docker环境)下安装推理引擎DeepGPU-LLM,然后通过使用DeepGPU-LLM实现大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)在GPU上的高性能推理优化功能。

文章 2024-08-28 来自:开发者社区

Window安装TensorFlow-GPU版本

TensorFlow 2.4需要CUDA 11.0,而不是 11.2或10.0) CUDA11.0+cuDNN8.0.x (文件一定是要对应的,CUDA cuDNN TensorFlow的版本一定要对应,不然用不了) 对于其他版本的安装也适用,替换到相应的版本即可。版本对应查看点这里。 1.CUDA11.0下载 ...

Window安装TensorFlow-GPU版本
阿里云文档 2024-08-23

更换GPU实例的操作系统时如何取消自动安装GPU(Tesla)驱动功能

创建GPU实例时,选择镜像后并同时选择了安装GPU驱动选项,则创建实例后会自动安装GPU(Tesla)驱动。如果因某种原因(例如当前使用的操作系统不能满足业务需求),您需要更换该GPU实例的操作系统,则同时也需要取消自动安装Tesla驱动功能,单独手动安装适配新操作系统的Tesla驱动,确保正常使用GPU实例的高性能特性。

阿里云文档 2024-08-20

通过YUM方式快速安装NVIDIA Tesla驱动(Alibaba Cloud Linux 3)

针对Alibaba Cloud Linux 3系统的GPU计算型实例,如果创建实例时未自动安装NVIDIA Tesla驱动,通过手动方式安装该驱动时,需要您先下载软件包,然后编译安装并配置CUDA等组件,操作比较繁琐,而采用YUM方式可以快速安装NVIDIA Tesla驱动及相关组件(例如CUDA、PyTorch以及TensorFlow等),可以更快更好地发挥GPU的高性能计算能力,或提供更流畅的...

文章 2024-08-09 来自:开发者社区

Windows11+CUDA12.0+RTX4090如何配置安装Tensorflow2-GPU环境?

1 引言 电脑配置 Windows 11cuda 12.0RTX4090 由于tensorflow2官网已经不支持cuda11以上的版本了,配置cuda和tensorflow可以通过以下步骤配置实现。 2 步骤 (1)创建conda环境并安装cuda和cudnn,以及安装tensorflow2.10 conda create -n tf39 python=3.9.* nu...

Windows11+CUDA12.0+RTX4090如何配置安装Tensorflow2-GPU环境?
文章 2024-07-03 来自:开发者社区

安装GPU版本的TensorFlow

安装GPU版本的TensorFlow之前需要查看自己的计算机或嵌入式设备是否支持该版本。如果支持GPU版本的TensorFlow,在安装之前需要安装CUDA和cuDNN。要安装cuDNN,需要注册成为NVIDIA用户,填写问卷调查才可以下载。在安装时需注意CUDA、cuDNN的版本匹配问题,安装成功后,即可开始安装GPU版本的...

文章 2024-01-26 来自:开发者社区

【Hello AI】安装并使用Deepnccl-多GPU互联的AI通信加速库

Deepnccl是为阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库,能够无感地加速基于NCCL通信算子调用的分布式训练或多卡推理等任务。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用Deepnccl的操作方法。前提条件已创建阿里云GPU实例,且GPU实例的操作系统为Ubuntu或CentOS。安装Deepnccl根据GPU实例的不同操作系统,安装Deepncc....

【Hello AI】安装并使用Deepnccl-多GPU互联的AI通信加速库
文章 2024-01-20 来自:开发者社区

带你读《弹性计算技术指导及场景应用》——4. 自动安装NVIDIA GPU驱动和CUDA组件

简介:GPU 云服务器正常工作需提前安装正确的基础设施软件,对于搭载了 NVIDIA 系列 GPU卡的实例而言,如果把 NVIDIA GPU 用作通用计算,则需安装 NVIDIA GPU 驱动、 CUDA、cuDNN等软件。背景GPU 云服务器正常工作需提前安装正确的基础设施软件,对于搭载了NVIDIA 系列 GPU卡的实例而言,如果把 NVIDIA GPU 用作通用计算,则需安装 NVIDIA....

带你读《弹性计算技术指导及场景应用》——4. 自动安装NVIDIA GPU驱动和CUDA组件

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

做技术先进、性能优异、稳如磐石的弹性计算!

+关注