[帮助文档] 使用TensorRT-LLM优化大语言模型在GPU上的推理性能

在处理大语言模型任务时,您可以选择在GPU云服务器环境下安装推理引擎TensorRT-LLM,然后通过使用TensorRT-LLM工具实现大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型等)在GPU上的高性能推理优化功能。

[帮助文档] 使用AI通信加速库DeepNCCL加速模型的分布式训练或推理性能

DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库,能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况,在不同的GPU云服务器上安装DeepNCCL通信库,以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操...

[帮助文档] AI通信加速库Deepnccl的架构、性能以及优化原理_GPU云服务器(EGS)

Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。

[帮助文档] AIACC-ACSpeed的部分性能数据_GPU云服务器(EGS)

本文展示了AIACC-ACSpeed的部分性能数据,相比较通过原生DDP训练模型后的性能数据,使用AIACC-ACSpeed训练多个模型时,性能具有明显提升。

[帮助文档] 展示AIACC-AGSpeed性能数据和性能效果_GPU云服务器(EGS)

本文展示了AIACC-AGSpeed(简称AGSpeed)的部分性能数据,相比较通过PyTorch原生Eager模式训练模型后的性能数据,使用AGSpeed训练多个模型时,性能具有明显提升。

性能提升20倍:英伟达GPU旗舰A100登场,全新7nm架构安培出炉

性能提升20倍:英伟达GPU旗舰A100登场,全新7nm架构安培出炉

虽然因为新冠疫情爆发,今年的 GTC 2020 大会也在最后时刻宣布转为线上,不过人们期待 7 纳米制程英伟达 GPU 的热情并没有消退。英伟达当然理解我们的心情,在 GTC 正式开幕一天前,英伟达 CEO 黄仁勋提前放出了一段视频——在老黄美国加州 Los Altos Hills 的家中,全球最大...

AI性能最高提升20倍 阿里云新一代GPU云服务器亮相 搭载NVIDIA A100

AI性能最高提升20倍 阿里云新一代GPU云服务器亮相 搭载NVIDIA A100

近日,阿里云异构计算宣布上线gn7 GPU系列云服务器,即日起开放售卖。gn7系列实例是阿里云新一代GPU计算实例,主要面向AI训练和高性能计算应用。该产品基于NVIDIA A100 Tensor Core GPU打造,云服务器中的8块A100 GPU以NVIDIA NVSwitch实现了GPU之间...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

云服务器ECS
云服务器ECS
做技术先进、性能优异、稳如磐石的弹性计算!
418277+人已加入
加入
相关电子书
更多
端到端GPU性能在深度学学习场景下的应用实践
DeepStream: GPU加速海量视频数据智能处理
阿里巴巴高性能GPU架构与应用
立即下载 立即下载 立即下载