文章 2024-09-18 来自:开发者社区

关于深度学习量化的操作

0. 简介 深度学习中做量化提升运行速度是最常用的方法,尤其是大模型这类非常吃GPU显存的方法。一般是高精度浮点数表示的网络权值以及激活值用低精度(例如8比特定点)来近似表示达到模型轻量化,加速深度学习模型推理,目前8比特推理已经比较成熟。比如int8量化,就是让原来32bit存储的数字映射到8bit存储。int8范围是[-128,127], uint8范围是[0,255]。 使...

关于深度学习量化的操作
文章 2023-05-08 来自:开发者社区

Nature:科学家首次利用深度学习量化人类意识

【新智元导读】一项由韩国、比利时等合作的最新脑科学研究发现,利用深度学习可以量化意识,研究对睡眠、麻醉、脑损伤等不同状况都获得了实验数据。现在,科学家对人类意识有了新认识! 这次的研究,是通过深度学习算法的AI方式来揭开谜题。 竟然!睡眠、全身麻醉、严重脑损伤等不同状况下的意识,都得了有效测量。 量...

Nature:科学家首次利用深度学习量化人类意识
文章 2022-10-19 来自:开发者社区

【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述

前言        模型部署优化这个方向其实比较宽泛。从模型完成训练,到最终将模型部署到实际硬件上,整个流程中会涉及到很多不同层面的工作,每一个环节对技术点的要求也不尽相同。但本质的工作无疑是通过减小模型大小,提高推理速度等,使得模型能够成功部署在各个硬件之中去并且实时有效的运作。那么模型的部署优化有哪些方式呢?...

【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

智能引擎技术

AI Online Serving,阿里巴巴集团搜推广算法与工程技术的大本营,大数据深度学习时代的创新主场。

+关注