119_LLM训练的高效内存管理与优化技术：从ZeRO到Flash Attention
引言 大型语言模型（LLM）的训练面临着前所未有的计算和内存挑战。随着模型规模达到数百亿甚至数千亿参数，高效的内存管理成为训练成功的关键因素之一。2025年，LLM训练的内存优化技术已经取得了显著进展，从ZeRO优化器到Flash Attention等创新技术，为训练超大规模模型提供了可能。 本文将全面介绍LLM...
117_LLM训练的高效分布式策略：从数据并行到ZeRO优化
引言 在2025年，大型语言模型（LLM）的规模已经达到了数千亿甚至数万亿参数，训练这样的庞然大物需要先进的分布式训练技术支持。本文将深入探讨LLM训练中的高效分布式策略，从基础的数据并行到最先进的ZeRO优化技术，为读者提供全面且实用的技术指南。 1.1 分布式训练的重要性 随着模型规模的爆炸式增长...
AI-Compass LLM训练框架生态：整合ms-swift、Unsloth、Megatron-LM等核心框架，涵盖全参数/PEFT训练与分布式优化
AI-Compass LLM训练框架生态：整合ms-swift、Unsloth、Megatron-LM等核心框架，涵盖全参数/PEFT训练与分布式优化 AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态，通过六大核心模块的系统化组织，为不同层次的学习者和开发者提供从完整学习路径。 github地址：AI-Compass：https://github.com/tin...
基于 NVIDIA Megatron-Core 的 MoE LLM 实现和训练优化
作者：黄俊，阿里云资深算法专家 本文将分享阿里云人工智能平台 PAI 团队与 NVIDIA Megatron-Core 团队在 MoE (Mixture of Experts) 大型语言模型（LLM）实现与训练优化上的创新工作。分享内容将按以下脉络展开： 1. 首先简短回顾 MoE 技术的发展历程，提炼核心概念及其在实践应用中亟待解决的关键挑战...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。