AI 助理
备案控制台
文章 2024-02-21 来自：开发者社区

南开提出全新ViT | Focal ViT融会贯通Gabor滤波器，实现ResNet18相同参数，精度超8.6%

视觉 Transformer 在各类计算机视觉任务中已经取得了鼓舞人心的进展。普遍认为这归功于自注意力在特征标记之间建模全局依赖关系的能力。不幸的是，在密集预测任务中，自注意力仍面临一些挑战，比如高计算复杂性和缺乏理想的归纳偏置。 为了解决上述问题，作者重新审视了将视觉 Transformer 与Gabor滤波器结合的潜在益处，并提出了一种通过卷积可学习的Gabor滤波器（LGF）。作...

南开提出全新ViT | Focal ViT融会贯通Gabor滤波器，实现ResNet18相同参数，精度超8.6%
文章 2023-05-26 来自：开发者社区

部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减（二）

4、实验4.1、跳过连接的修剪传统的cnn通道剪枝通常只考虑卷积层的剪枝，而不考虑修剪跳过连接层。在本文的方法中，为了使模型的剪枝比例最大化，考虑了跳过连接模块。类似地，基于等式来评估跳过连接的重要性，为了考虑多个滤波器在跳连接模块中对一个通道的联合影响，通过所有相应滤波器显著性得分的组均值来计算跳连接模块中一个通道的重要性。图4展示了跳跃连接的剪枝方案。4.2、检测模型的剪枝应用1、VOC上的....

部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减（二）
文章 2023-05-26 来自：开发者社区

部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减（一）

全局通道剪枝（GCP）旨在从深度模型中移除不同层的通道子集（滤波器），而不会损害性能。先前的工作集中于单任务模型修剪或简单地将其适应多任务场景，并且在处理多任务修剪时仍然面临以下问题：由于任务不匹配，用于分类任务的修剪良好的主干专注于保留可以提取类别敏感信息的过滤器，使得在骨干剪枝阶段期间对可能对其他任务有用的滤波器进行修剪；对于多任务预测，层内或层间的不同滤波器比单任务预测更紧密地相关和交互，....

部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减（一）
文章 2023-05-09 来自：开发者社区

Meta实习生让AI「调教」AI？ResNet-50无需训练，2400万参数秒级预测

【新智元导读】10年前，当我们有了足够的数据和处理能力，深度神经网络也就实现了对传统算法的超越。今天，神经网络对数据和算力更加饥渴，甚至需要微调数百万甚至数十亿的参数来进行训练。不过，这种情况或许很快就会改变。为了摆脱繁琐的训练过程，Boris Knyazev团队设计了一个「超网络」， 对于任意全新的深度神经网络，可以在几分之一秒内预测出该网络的参数，不再需要进行训练。开源项目：https://....

Meta实习生让AI「调教」AI？ResNet-50无需训练，2400万参数秒级预测

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

ResNet您可能感兴趣