CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
随着大型语言模型（LLM）在智能设备上的广泛应用，如何在资源受限的边缘设备上高效部署LLM成为了一个关键问题。最近，微软研究院提出了一种名为T-MAC的创新方法，通过查表法（LUT）在CPU上实现低比特LLM（即权重量化LLM）的高效推理。T-MAC直接支持混合精度矩阵乘...
谈谈LLM在推荐域的渗透，探索推荐新范式
来源｜阿里开发者公众号作者｜葬青前言最近大模型真的很火，从个人到公司，各行各业都在学习大模型、总结大模型和尝试应用大模型。大模型其实不是一个新的产物，已经在NLP发展了很多年。ChatGPT的诞生，经验的效果震惊了所有人，虽然也有一些瑕疵，但是瑕不掩瑜。微软投资OpenAI看到了它的未...
仅使用解码器实现语音翻译，字节跳动提出基于LLM的新范式PolyVoice
近年来，大规模语言模型（LLMs）建模在 NLP 领域取得了许多突破，特别是 ChatGPT 的成功，正引领大家迈入一个新的 AI 时代。截止目前，基于 encoder-decoder 框架的模型在语音处理任务中仍占主导地位，而基于语言模型（LM）的方法还处于初期探索阶段...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。