神经网络推理加速入门——超简单的卷积和加法融合
大家好啊，我是董董灿。神经网络的优化除了之前提到的一些硬件优化手段之外，还有很多图层方面的优化手段。而且图层方面的优化，有时效果更佳。往往一个有效的优化，甚至可以“消除”掉一个算子的存在。这里的“消除”用的引号，是因为这个算子并未被真正消除，从整个神经网络的计算流上看，这个算法仍然存在。只不过，它的计算过程被其他计算过程掩盖住了，像是被“消除”了。算子融合这里介绍一种算子融合并且使用图层流水进行....
神经网络推理加速入门——转换提前
大家好啊，我是董董灿。做优化有时候真的很头疼，绞尽脑汁的想怎么做算法等价，怎么把神经网络各层指令流水起来，在确保整网精度的同时，又有高性能。但有时做了半天，却发现流水根本就流不起来，总是莫名其妙地被卡住。真的是一顿操作猛如虎，回头一看原地杵。今天介绍一种神经网络的性能优化方法。它不需要懂特深奥的算法知识，就能做到整个优化系统，大到网络，小到算子的性能的成倍提升。而且绝对是成倍的性能提升，并且显而....
神经网络推理加速入门——存储和计算的高效结合
大家好啊，我是董董灿。计算机冯诺依曼架构下一个特点，就是存储和计算分离，这会带来一个问题，那就是计算机有时会遇到存储墙，也就是存储带宽不够导致的性能下降。如果说流水技术可以为此破局，那么其实还有一个打破冯诺依曼架构的桎梏，将存储和计算过程结合起来。它是怎么做的呢还是先从一个例子说起。假设我要做个炒鸡蛋。正常的话我有以下步骤：把鸡蛋从冰箱里拿出来拿着鸡蛋从冰箱走到灶台在灶台开火，开始炒鸡蛋这个过程....
神经网络推理加速入门——异构编程
大家好啊，我是董董灿。这篇简单介绍一个概念——异构编程。上一篇一个例子看懂流水——从指令到算法用一个生活中的小例子，介绍了流水这一概念。在计算资源有限的情况下，我们可以通过软件的流水技术来提升程序性能。但如果你是土豪，不想耗费太多精力去做软件优化，就想砸钱来提升程序性能，有办法么？当然有，性能不够，芯片来凑。正所谓“众人拾柴火焰高”，只要芯片足够多，性能就能飙到顶。异构芯片编程就是这样的一种方式....
神经网络推理加速入门- 一个例子看懂流水
之前的两篇文章介绍了流水这一技术，它用来进行程序的性能加速，本篇通过一个生活中的小例子，让大家更直观的了解什么是流水。举个例子早晨从起床到上班出门，我们一般会做以下几件事：刷牙、烧水、喝水、出门。如果正常按顺序去做，可能就是先刷牙，然后烧水，等水烧开了喝水，然后出门。假设做每件事需要的时间如下表，那么整个出门前需要花费的时间为55分钟。但是，如果你稍微会一点时间管理的话，我相信你肯定不会先刷牙、....
神经网络推理加速入门——计算和存储的分离
大家好啊，我是董董灿。今天开始，增加第一个专栏，作为神经网络推理加速的专栏，主要写一写在神经网络推理过程中的一些加速方法。先从计算机底层原理说起。先说几个基础概念。计算机存储和计算的分离第一是计算机。这里说的计算机是广义上的计算机，也就是说具有计算能力的硬件设备（计算的机器）都算。小到某个芯片系统，大到智能手环、手机、电脑甚至服务器，都归到计算机的范畴。第二是计算。这里要说的计算，指所有的计算，....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
网络更多入门相关
域名解析DNS
关注DNS技术、标准、产品和行业趋势，连接国内外相关技术社群信息，加强信息共享。
+关注