[帮助文档] 使用TensorRT-LLM优化大语言模型在GPU上的推理性能

在处理大语言模型任务时,您可以选择在GPU云服务器环境下安装推理引擎TensorRT-LLM,然后通过使用TensorRT-LLM工具实现大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型等)在GPU上的高性能推理优化功能。

[帮助文档] 使用AI通信加速库DeepNCCL加速模型的分布式训练或推理性能

DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库,能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况,在不同的GPU云服务器上安装DeepNCCL通信库,以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操...

[帮助文档] AI通信加速库Deepnccl的架构、性能以及优化原理_GPU云服务器(EGS)

Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。

[帮助文档] AIACC-ACSpeed的部分性能数据

本文展示了AIACC-ACSpeed的部分性能数据,相比较通过原生DDP训练模型后的性能数据,使用AIACC-ACSpeed训练多个模型时,性能具有明显提升。

[帮助文档] 展示AIACC-AGSpeed性能数据和性能效果_GPU云服务器(EGS)

本文展示了AIACC-AGSpeed(简称AGSpeed)的部分性能数据,相比较通过PyTorch原生Eager模式训练模型后的性能数据,使用AGSpeed训练多个模型时,性能具有明显提升。

搭载 NVIDIA A10 GPU的阿里云gn7i服务器开启,AI性能提升2-3倍!

我是一名大三的学生,专业是计算机科学与技术,最近在学习linux,听了狂神的服务器的购买及配置,狂神比较推荐阿里云的服务器,因为有一些学生优惠,还有就是有这个优惠活动助力高效学生学习。飞天加速计划·高校学生在家实践”活动,帮助学生的学习,通过一定的练习,对于服务器就会有一定的了解,之后可能也会购买阿...

搭载 NVIDIA A10 GPU的阿里云gn7i服务器开启,AI性能提升2-3倍!

我是2019级北京工业大学都柏林国际学院的一名在校大学生,因为学的是软件工程专业,所以课业会涉及到网站开发和部署相关的内容。在学习Linux和Docker时,根据老师的要求购买服务器,便直接到阿里云浏览。感慨是的时候发现了阿里云成长计划每天都会有优惠活动,便以新人的身份享受到了巨大的优惠。后来在开发...

搭载 NVIDIA A10 GPU的阿里云gn7i服务器开启,AI性能提升2-3倍!

大家好,我是来自长春建筑学院电气信息学院的大四学生,是自动化专业的。 作为一个学自动化的同学来说,对于万物上云并不陌生,只不过接触的很少。很早之前就听说过阿里云,在云计算这块做得相当好,却一直没有机会尝试。最近,我们老师在上网课的时候向我们推荐了“飞天加速计划·高校学生在家实践”活动的,因此我了解了...

搭载 NVIDIA A10 GPU的阿里云gn7i服务器开启,AI性能提升2-3倍!

我是一名大二专科的大学生,所读专业为软件工程,我正苦恼想学习相关知识,但没有服务器以及知识时,老师通过分享以及同班同学的聊天中了解到“飞天加速计划·高校学生在家实践”的活动。在学习了linux和java后,苦于没有服务器,在一次网上搜索中,我发现了阿里的这个“飞天加速计划·高校学生在家实践”的活动。...

搭载 NVIDIA A10 GPU的阿里云gn7i服务器开启,AI性能提升2-3倍!

我是研究生在计算机专业的一名研二学生,最近在学习java开发知识时候,开始接触到redis服务,需要使用到Linux系统去搭建redis环境,然后利用redis服务做一些应用。在本科期间在虚拟机上对Linux的一些基本命令有了一些熟悉之后,决定在云服务器上搭建自己的服务器,运行redis学习,并希望...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

云服务器ECS
云服务器ECS
做技术先进、性能优异、稳如磐石的弹性计算!
418277+人已加入
加入
相关电子书
更多
端到端GPU性能在深度学学习场景下的应用实践
DeepStream: GPU加速海量视频数据智能处理
阿里巴巴高性能GPU架构与应用
立即下载 立即下载 立即下载