98_数据增强：提升LLM微调效果的关键技术
引言 在大语言模型（LLM）的微调过程中，数据质量与数量往往是决定最终性能的关键因素。然而，获取高质量、多样化且标注准确的训练数据却常常面临诸多挑战：数据标注成本高昂、领域特定数据稀缺、数据分布不均等问题都会直接影响微调效果。在这种背景下，数据增强技术作为一种能够有效扩充训练数据并提升其多样性的方法，...
71_数据版本控制：Git与DVC在LLM开发中的最佳实践
1. 引言：LLM开发中的数据版本控制挑战 在2025年的大模型(LLM)开发实践中，数据和模型的版本控制已成为确保项目可重复性和团队协作效率的关键环节。与传统软件开发不同，LLM项目面临着独特的数据版本控制挑战： 数据规模庞大：完整的LLM训练数据集常达到TB级，单个模型权重文件也可能超过1GB版本关联复杂&#...
LLM大语言模型数据处理-Wikipedia
LLM数据处理算法提供了对数据样本进行编辑和转换、过滤低质量样本、识别和删除重复样本等功能。您可以根据实际需求组合不同的算法，从而过滤出合适的数据并生成符合要求的文本，方便为后续的LLM训练提供优质的数据。本文以开源RedPajama Wikipedia中的少量数据为例，为您介绍如何使用PAI提供的大模型数据处理组件，对Wikipedia数据进行数据清洗和处理。
LLM大语言模型数据处理-Alpaca-Cot
LLM数据处理算法提供了对数据样本进行编辑和转换、过滤低质量样本、识别和删除重复样本等功能。您可以根据实际需求组合不同的算法，从而过滤出合适的数据并生成符合要求的文本，方便为后续的LLM训练提供优质的数据。本文以开源Alpaca-Cot中的少量数据为例，为您介绍如何使用PAI提供的大模型数据处理组件，对SFT数据进行数据清洗和处理。
LLM大语言模型数据处理-arXiv
LLM数据处理算法提供了对数据样本进行编辑和转换、过滤低质量样本、识别和删除重复样本等功能。您可以根据实际需求组合不同的算法，从而过滤出合适的数据并生成符合要求的文本，方便为后续的LLM训练提供优质的数据。本文以开源RedPajama arXiv中的少量数据为例，为您介绍如何使用PAI提供的大模型数据处理组件，对arXiv数据进行数据清洗和处理。
LLM大语言模型数据处理-Alpaca-Cot
LLM数据处理算法提供了对数据样本进行编辑和转换、过滤低质量样本、识别和删除重复样本等功能。您可以根据实际需求组合不同的算法，从而过滤出合适的数据并生成符合要求的文本，方便为后续的LLM训练提供优质的数据。本文以开源Alpaca-Cot中的少量数据为例，为您介绍如何使用PAI提供的大模型数据处理组件，对SFT数据进行数据清洗和处理。DLC组件支持分布式Ray框架进行大规模的数据处理，并且支持智能聚...
CLIMB自举框架：基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用
尽管优化预训练数据混合对大型语言模型(LLM)的性能有显著影响，但确定最优数据配比仍然是一个亟待解决的挑战。为应对这一问题，英伟达提出了一种名为CLIMB(CLustering-based Iterative data Mixture Bootstrapping)的自动化框架，该框架能够在预训练环境中系统地发现、评估并优化数据混合策略。CLIMB通过在语义空间中嵌入并聚类大规模数据集，并结合小型....
跨模态大升级！少量数据高效微调，LLM教会CLIP玩转复杂文本
在人工智能领域，多模态模型正日益成为研究的热点。其中，CLIP（Contrastive Language-Image Pre-training）作为一款重要的多模态基础模型，通过在大规模图像-文本对上使用简单的对比学习损失来对齐视觉和文本信号，取得了显著的成果。然而，随着大型语言模型（...
大模型强崩溃！Meta新作：合成数据有剧毒，1%即成LLM杀手
在人工智能领域，大型语言模型（LLMs）的发展日新月异，其在自然语言处理、文本生成等方面的卓越表现令人瞩目。然而，随着这些模型的广泛应用，一个潜在的问题逐渐浮出水面：当模型被训练于递归生成的数据时，它们可能会遭遇所谓的“模型崩溃”。 Meta的最新研究揭示了这一现象，当模...
完全使用自生成数据实现LLM自我纠正，DeepMind新突破SCoRe：纠正性能提升15.9%
大型语言模型（LLMs）在科学领域如数学和编程中的应用越来越广泛。然而，这些模型在自我纠正方面存在严重不足，特别是在没有外部输入的情况下（也称为内在自我纠正）。为了解决这个问题，Google DeepMind的研究人员开发了一种名为SCoRe（Self-Correction via R...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。