文章 2025-10-03 来自:开发者社区

144_推理时延优化:Profiling与瓶颈分析 - 使用PyTorch Profiler诊断推理延迟,优化矩阵运算的独特瓶颈

引言 在2025年的大模型时代,推理时延优化已经成为部署LLM服务的关键挑战之一。随着模型规模的不断扩大(从数亿参数到数千亿甚至万亿参数),即使在最先进的硬件上,推理延迟也常常成为用户体验和系统吞吐量的主要瓶颈。 1.1 推理时延优化的重要性 大语言模型的推理延迟直接影响着: 用户体验:实时应用场景...

144_推理时延优化:Profiling与瓶颈分析 - 使用PyTorch Profiler诊断推理延迟,优化矩阵运算的独特瓶颈
文章 2024-07-17 来自:开发者社区

pytorch 如何生成指定位置、尺度参数的随机高斯矩阵,并指定这个随机矩阵的形式

----------------------------方法1在 PyTorch 中,可以使用 torch.randn() 函数生成指定形状的随机高斯矩阵,并通过一些变换操作来生成具有指定位置和尺度参数的随机矩阵。下面是一个示例代码,用于生成均值为 mu,标准差为 sigma,形状为 (m, n) 的随机高斯矩阵:import torch # 指定位置和尺度参数 mu = 0.0 sigma =....

文章 2023-12-19 来自:开发者社区

PyTorch深度学习基础之Tensor对象及其应用的讲解及实战(附源码 简单易懂 包括分段 映射 矩阵乘法 随机数等等)

觉得有帮助请点赞关注收藏 有问题可评论区留言~~~Tensor对象是一个维度任意的矩阵,但是一个Tensor中所有元素的数据类型必须一致。torch包含的数据类型和普遍编程语言的数据类型类似,包含浮点型,有符号整型和无符号整形,这些类型既可以定义在CPU上,也可以定义在GPU上。在使用Tensor数据类型时,可以通过dtype属性指定它的数据类型,device指定它的设备(CPU或者GPU)1:....

PyTorch深度学习基础之Tensor对象及其应用的讲解及实战(附源码 简单易懂 包括分段 映射 矩阵乘法 随机数等等)
文章 2023-08-04 来自:开发者社区

[深度学习实战]基于PyTorch的深度学习实战(中)[线性回归、numpy矩阵的保存、模型的保存和导入、卷积层、池化层](二)

5.2 Conv1d   conv1d 是一维卷积,它和 conv2d 的区别在于只对宽度进行卷积,对高度不卷积。5.2.1 函数定义torch.nn.functional.conv1d(input, weight, bias=None, stride=1, padding=0, dilation=5.2.2 参数说明  input:输入的Tensor数据,格式为 (batc....

[深度学习实战]基于PyTorch的深度学习实战(中)[线性回归、numpy矩阵的保存、模型的保存和导入、卷积层、池化层](二)
文章 2023-08-04 来自:开发者社区

[深度学习实战]基于PyTorch的深度学习实战(中)[线性回归、numpy矩阵的保存、模型的保存和导入、卷积层、池化层](一)

一、前言  本想着一篇博文直接写完基于PyTorch的深度学习实战,可写着写着发现字数都上万了。考虑到读者可能花了大力气对这么一篇博文看到失去了对PyTorch神经网络的耐心,同时也为了我个人对文章排版的整理,还是分成了分卷阅读。  这里贴一下上篇博文:[深度学习实战]基于PyTorch的深度学习实战(上)[变量、求导、损失函数、优化器]二、线性回归  线性回归也叫....

[深度学习实战]基于PyTorch的深度学习实战(中)[线性回归、numpy矩阵的保存、模型的保存和导入、卷积层、池化层](一)
文章 2023-05-11 来自:开发者社区

【Pytorch神经网络理论篇】 25 基于谱域图神经网络GNN:基础知识+GNN功能+矩阵基础+图卷积神经网络+拉普拉斯矩阵

同学你好!本文章于2021年末编写,获得广泛的好评!故在2022年末对本系列进行填充与更新,欢迎大家订阅最新的专栏,获取基于Pytorch1.10版本的理论代码(2023版)实现,Pytorch深度学习·理论篇(2023版)目录地址为:CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例,从可解释性的角度对深度学习的原理进行讲解与分析,通....

【Pytorch神经网络理论篇】 25 基于谱域图神经网络GNN:基础知识+GNN功能+矩阵基础+图卷积神经网络+拉普拉斯矩阵
文章 2022-12-19 来自:开发者社区

推荐系统基础:使用PyTorch进行矩阵分解进行动漫的推荐

我们一天会遇到很多次推荐——当我们决定在Netflix/Youtube上看什么,购物网站上的商品推荐,Spotify上的歌曲推荐,Instagram上的朋友推荐,LinkedIn上的工作推荐……列表还在继续!推荐系统的目的是预测用户对某一商品的“评价”或“偏好”。这些评级用于确定用户可能喜欢什么,并提出明智的建议。推荐系统主要有两种类型:基于内容的系统:这些系统试图根据项目的内容(类型、颜色等)....

推荐系统基础:使用PyTorch进行矩阵分解进行动漫的推荐

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

相关镜像