大语言模型的核心算法——简要解析
大语言模型的核心算法——简要解析 Transformer架构的数学本质与演进 自注意力机制的核心原理 Transformer架构的灵魂在于自注意力机制，它允许模型在处理序列中的每个元素时，动态地关注序列中的所有其他位置。从数学角度看，自注意力的计算过程可以表达为： $$\text{Attention}(Q,K,V) = \text{...
生成式 AI 大语言模型（LLMs）核心算法及源码解析：预训练篇
随着人工智能技术的飞速发展，大语言模型（Large Language Models, LLMs）在各领域展现出强大的潜力。本文深入剖析了 LLMs 预训练阶段的核心算法和关键源代码实现，旨在全面、系统地阐述其背后的技术原理和实现细节。通过对算法架构、训练方法和代码实现的详实分析，我们期望这些内容能够为大模型领域的学习者和研究者提供有益参考，感兴趣的读者可以沿着文中技术脉络深入探索。 1....
大语言模型中常用的tokenizer算法
大语言模型中常用的tokenizer算法对于自然语言处理（NLP）任务至关重要。它们将文本分解为更小的单元（token），这些单元可以是单词、子词或字符，进而用于模型训练和推理。以下是几种常用的tokenizer算法及其详细介绍。 常用的Tokenizer算法 1. 基于规则的Tokenizer 1.1 空格分词...
【EMNLP2024】基于多轮课程学习的大语言模型蒸馏算法 TAPIR
近日，阿里云人工智能平台 PAI 与复旦大学王鹏教授团队合作，在自然语言处理顶级会议 EMNLP 2024 上发表论文《Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning》。文章提出了一个名为 TAPIR 的知识蒸...
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解 前言: 古人云: 得卧龙者，得天下。 然在当今大语言模型流行的时代，同样有一句普世之言: 会微调技术者，得私域大模型部署之道！ 在众多微调技术中，LoRA (LOW-RANK ADAPTATION, lora)低秩适应是最常用的一种技术手段，尤其是当你面临多私域数据应用大模型部署，并且计算资源及内...
![[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解](https://ucc.alicdn.com/pic/developer-ecology/qy2cxr5w3tthc_33f1d390347b4adeb98b335ecc73ec77.jpeg)
【EMNLP 2023】基于大语言模型的复杂任务认知推理算法CogTree
近日，阿里云人工智能平台PAI与华东师范大学张伟教授团队合作在自然语言处理顶级会议EMNLP2023上发表了基于认知理论所衍生的CogTree认知树生成式语言模型。通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解....
带你简单了解Chatgpt背后的秘密：大语言模型所需要条件（数据算法算力）以及其当前阶段的缺点局限性
带你简单了解Chatgpt背后的秘密：大语言模型所需要条件（数据算法算力）以及其当前阶段的缺点局限性1.什么是语言模型？大家或多或少都听过 ChatGPT 是一个 LLMs，那 LLMs 是什么？LLMs 全称是 Large Language Models，中文是大语言模型。那么什么是语言模型？语言模型简单说来，就是对人类的语言建立数学模型，注意，这里的关键是数学模型，语言模型是一个由数学公式构....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
