面向高效大模型推理的软硬协同加速技术 多元化 AI 硬件引入评测体系
先分享一下背景,现在 AI 硬件越来越多,各种种类,各种技术架构,从云的角度,要回答一个问题,硬件好不好用?怎么用?评测体系其实更多服务这个领域,包括技术的总结。 本次主要就从三个方面来进行阐述,第一方面面向 AI 硬件的统一评测标准。第二方面是平台化和工具化,这块是一个技术的实现。第三方面多维度评测数据的消费链路,是整个的评测的数据如何被用户消费,怎么理解数据?这三方面主要目...
利用PyTorch Profiler实现大模型的性能分析和故障排查
本文介绍PyTorch Profiler结合TensorBoard分析模型性能,分别从数据加载、数据传输、GPU计算、模型编译等优化思路去提升模型训练的性能。最后总结了一些会导致CPU和GPU同步的常见的PyTorch API,在使用这些API时需要考虑是否会带来性能影响。
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
AI大模型相关内容
AI更多大模型相关
产品推荐
人工智能平台PAI
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。
+关注