119_LLM训练的高效内存管理与优化技术：从ZeRO到Flash Attention
引言 大型语言模型（LLM）的训练面临着前所未有的计算和内存挑战。随着模型规模达到数百亿甚至数千亿参数，高效的内存管理成为训练成功的关键因素之一。2025年，LLM训练的内存优化技术已经取得了显著进展，从ZeRO优化器到Flash Attention等创新技术，为训练超大规模模型提供了可能。 本文将全面介绍LLM...
117_LLM训练的高效分布式策略：从数据并行到ZeRO优化
引言 在2025年，大型语言模型（LLM）的规模已经达到了数千亿甚至数万亿参数，训练这样的庞然大物需要先进的分布式训练技术支持。本文将深入探讨LLM训练中的高效分布式策略，从基础的数据并行到最先进的ZeRO优化技术，为读者提供全面且实用的技术指南。 1.1 分布式训练的重要性 随着模型规模的爆炸式增长...
深度解析四大LLM微调工具：从单卡到千亿级训练的四大解决方案
本文较长，建议点赞收藏，以免遗失。文中还会放一些技术文档，方便大家更好的学习。 在对大语言模型（LLM）进行微调时，有多种技术可选。今天我们分享一下最值得关注的 4 款工具 —— 从单卡 到支持万亿参数的分布式集群，它们几乎覆盖了所有 LLM 微调场景，让我们看看该在什么时候用哪一个...
AI-Compass LLM训练框架生态：整合ms-swift、Unsloth、Megatron-LM等核心框架，涵盖全参数/PEFT训练与分布式优化
AI-Compass LLM训练框架生态：整合ms-swift、Unsloth、Megatron-LM等核心框架，涵盖全参数/PEFT训练与分布式优化 AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态，通过六大核心模块的系统化组织，为不同层次的学习者和开发者提供从完整学习路径。 github地址：AI-Compass：https://github.com/tin...
Multimodal LLM训练-模型文件\训练数据加载逻辑源码分析
1. summary 本文以Omnigen项目（https://github.com/VectorSpaceLab/OmniGen）为例，对LLM训练过程中涉及与存储交互的部分在代码逻辑上做了梳理。整体分为模型文件加载侧以及训练数据加载侧两部分，训练数据除包含常规结构化的文本数据之外，又包含了图像相关数据的读写逻辑的梳理。整体包含了Python\Cpython\Rust\Cpp语言的sa...
LLM2LLM：LLM2LLM：用 LLM 来增强 LLM ！通过教师模型合成数据，增强学生模型的训练数据集
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新应用和热点信息，提供开源实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！ 微信公众号｜搜一搜：蚝油菜花 快速阅读 技术核心：通过教师模型生成合成数据，增强学生模型的训练集。 迭代优化：通过多次迭代，逐步改进模型性能，针对性地解决模型弱点。 应用场景：适用于医学、法律、...
FBI-LLM低比特基础大语言模型来了，首个完全从头训练的二值化语言模型
近日，一篇名为《FBI-LLM：通过自回归蒸馏从头开始扩展全二值化大语言模型》的论文引起了广泛关注。该论文由Liqun Ma、Mingjie Sun和Zhiqiang Shen共同撰写，并已发布在arXiv预印本服务器上。 随着人工智能的快速发展，大语言模型（LLM）在自然语言处理任务中展现出了卓越的性能。然而&...
使用阿里云ECS DeepGPU后，LLM微调训练场景和Stable Diffusion推理场景的性
使用阿里云ECS DeepGPU后，LLM微调训练场景和Stable Diffusion推理场景的性能有何提升？
使用‘消除’技术绕过LLM的安全机制，不用训练就可以创建自己的nsfw模型
开源的大模型在理解和遵循指令方面都表现十分出色。但是这些模型都有审查的机制，在获得被认为是有害的输入的时候会拒绝执行指令，例如会返回“As an AI assistant, I cannot help you.”。这个安全功能对于防止误用至关重要，但它限制了模型的灵活性和响应能力。 在本文中，我们将探索一种称为“abliteration”的技术，它可以在不进行再训练的情况下取消LLM审查。这种.....
LLM 大模型学习必知必会系列(九)：Agent微调最佳实践，用消费级显卡训练属于自己的Agent！
LLM 大模型学习必知必会系列(九)：Agent微调最佳实践，用消费级显卡训练属于自己的Agent！ SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能力更稳定，并支持使用单张商业级显卡进行Agent推理和部署，可以直接在生产场景中全链路闭环落地使用。 1.环境安装 #设置pi...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。