【EMNLP2024】基于多轮课程学习的大语言模型蒸馏算法 TAPIR
近日，阿里云人工智能平台 PAI 与复旦大学王鹏教授团队合作，在自然语言处理顶级会议 EMNLP 2024 上发表论文《Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning》。文章提出了一个名为 TAPIR 的知识蒸...
【ACL 2023】面向轻量化文图检索的Dual-Encoder模型蒸馏算法ConaCLIP
近日，阿里云机器学习平台PAI与华南理工大学金连文教授团队合作在自然语言处理顶级会议ACL 2023上发表面向轻量化文图检索的dual-encoder模型蒸馏算法ConaCLIP（ fully-Connected knowledge interaction graph for CLIP）。ConaCLIP针对轻量化的图文检索任务进行设计，是一种通过全连接的知识交互图学习方式将知识从dual-en....
深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT
深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT 1.模型压缩概述 1.2模型压缩原有 理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。但随着深度学习越来越多的参与到产业中，...
![深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT](https://ucc.alicdn.com/fnj5anauszhew_20230616_361405c0c1ab4eb89013b2edcc8ded50.png)
一文搞懂【知识蒸馏】【Knowledge Distillation】算法原理
1. 什么是知识蒸馏？知识蒸馏就是把一个大的教师模型的知识萃取出来，把他浓缩到一个小的学生模型，可以理解为一个大的教师神经网络把他的知识教给小的学生网络，这里有一个知识的迁移过程，从教师网络迁移到了学生网络身上，教师网络一般是比较臃肿，所以教师网络把知识教给学生网络，学生网络是一个比较小的网络，这样就可以用学生网络去做一些轻量化网络做的事情。2. 轻量化网络的方式有哪些？压缩已训练好的模型：知识....
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
框架1）第一个方向是把一个已经训练好的臃肿的网络进行瘦身权值量化：把模型的权重从原来的32个比特数变成用int8，8个比特数来表示，节省内存，加速运算剪枝：去掉多余枝干，保留有用枝干。分为权重剪枝和通道剪枝，也叫结构化剪枝和非结构化剪枝，一根树杈一根树杈的剪叫非结构化剪枝，也可以整层整层的剪叫结构化剪枝。2）第二个方向是在设计时就考虑哪些算子哪些设计是轻量化的轻量化网络有很多需要考虑的内容：参数....
字节跳动提出面向GAN压缩的在线多粒度蒸馏算法，算力降至1/46
近年来，生成对抗网络（GAN）在图像生成、图像翻译等多种视觉应用中取得了显著成果。尽管 GAN 模型给图像生成带来了不同程度的提升，但大部分模型的部署都涉及巨大的计算资源和内存消耗。这成为在资源受限的移动设备或其他轻量级物联网设备上部署 GAN 的一个关键瓶颈。GAN 压缩方向已经成为业界的挑战之一，不少高校和科技公司对此投入研究力量。但当前的 GAN 压缩算法主要存在两个方面的问题：一方面，当....
AAAI 2020 | 速度提升200倍，爱奇艺&北航等提出基于耦合知识蒸馏的视频显著区域检测算法
论文链接：https://arxiv.org/pdf/1904.04449.pdf本论文设计了一个超轻量级网络 UVA-Net，并提出了一种基于耦合知识蒸馏的网络训练方法，在视频注意力预测方向的性能可与 11 个最新模型相媲美，而其存储空间仅占用 0.68 MB，在 GPU，CPU 上的速度分别达到 10,106FPS，404FPS，比之前的模型提升了 206 倍。由于传统的高精度视频显著区域检....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
智能引擎技术
AI Online Serving，阿里巴巴集团搜推广算法与工程技术的大本营，大数据深度学习时代的创新主场。
+关注