文章 2025-10-03 来自:开发者社区

144_推理时延优化:Profiling与瓶颈分析 - 使用PyTorch Profiler诊断推理延迟,优化矩阵运算的独特瓶颈

引言 在2025年的大模型时代,推理时延优化已经成为部署LLM服务的关键挑战之一。随着模型规模的不断扩大(从数亿参数到数千亿甚至万亿参数),即使在最先进的硬件上,推理延迟也常常成为用户体验和系统吞吐量的主要瓶颈。 1.1 推理时延优化的重要性 大语言模型的推理延迟直接影响着: 用户体验:实时应用场景...

144_推理时延优化:Profiling与瓶颈分析 - 使用PyTorch Profiler诊断推理延迟,优化矩阵运算的独特瓶颈
文章 2023-11-01 来自:开发者社区

深度学习Pytorch-Tensor的属性、算术运算

Tensor的属性每一个Tensor对象都有以下几个属性:torch.dtype、torch.device和torch.layout1、torch.dtype属性标识了torch.Tensor的数据类型。2、torch.device属性标识了torch.Tensor对象在创建之后所存储在的设备名称。torch.device包含了两种设备类型 ('cpu' 或者 'cuda') ,分别标识将Ten....

深度学习Pytorch-Tensor的属性、算术运算
文章 2023-06-20 来自:开发者社区

Pytorch 常见运算(mul、mm、dot、mv)

1.矩阵与标量矩阵(张量)每一个元素与标量进行操作。import torch a = torch.tensor([1,2]) print(a+1) >>> tensor([2, 3]) 2.哈达玛积(mul)两个相同尺寸的张量相乘,然后对应元素的相乘就是这个哈达玛积。a = torch.tensor([1,2]) b = torch.tensor([2,3]) print(a*....

Pytorch 常见运算(mul、mm、dot、mv)
文章 2023-05-10 来自:开发者社区

【Pytorch神经网络理论篇】 02 Pytorch快速上手(二)GPU与CPU张量切换+具有随机值的张量+张量的数学运算

同学你好!本文章于2021年末编写,获得广泛的好评!故在2022年末对本系列进行填充与更新,欢迎大家订阅最新的专栏,获取基于Pytorch1.10版本的理论代码(2023版)实现,Pytorch深度学习·理论篇(2023版)目录地址为:CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例,从可解释性的角度对深度学习的原理进行讲解与分析,通....

【Pytorch神经网络理论篇】 02 Pytorch快速上手(二)GPU与CPU张量切换+具有随机值的张量+张量的数学运算
文章 2022-10-30 来自:开发者社区

PyTorch: 张量的变换、数学运算及线性回归

本文已收录于Pytorch系列专栏: Pytorch入门与实践 专栏旨在详解Pytorch,精炼地总结重点,面向入门学习者,掌握Pytorch框架,为数据分析,机器学习及深度学习的代码能力打下坚实的基础。免费订阅,持续更新。张量变换1.torch.reshapetorch.reshape(input,shape)功能:变换张量形状注意事项:当张量在内存中是连续时,新张量与 input 共享数...

PyTorch: 张量的变换、数学运算及线性回归

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

相关镜像