我们给大模型去掉了“AI味”-大模型微调全链路实战
前言 随着人工智能技术的飞速发展，大型语言模型（LLMs）已经成为自然语言处理领域的核心驱动力。本文档旨在概述使用ModelScope生态进行LLM训练的全链路最佳实践，涵盖数据下载、数据预处理、模型训练、模型评估完整流程。 主要内容 教程以知乎评论数据集（https://modelscope.cn/datasets/OmniData/Zhihu-KOL）为例，使用LoR...
通义语音AI技术问题之预训练模型的推理与微调如何解决
问题一：FunASR如何支持预训练模型的推理与微调？ FunASR如何支持预训练模型的推理与微调？ 参考回答： FunASR提供了便捷的脚本和教程，支持预训练好的模型的推理与微调。 关于本问题的更多问答可点击原文查看： https://developer.aliyun.com/ask/656839 ...
【AI大模型】Transformers大模型库（九）：大模型微调之计算微调参数占比
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...
【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...
AI Native应用中利用联邦学习保障隐私的模型微调实践
概述 随着人工智能技术的发展，越来越多的应用程序开始采用AI原生（AI Native）设计思路，即从一开始就将AI作为核心功能来构建软件和服务。然而，在AI Native应用中，数据隐私和安全性是不容忽视的重要问题。联邦学习（Federated Learning, FL）作为一种新兴的...
针对资源受限设备的 AI Native 应用轻量化微调技术
摘要 随着人工智能（AI）技术的飞速发展，越来越多的应用程序开始在边缘计算和移动设备上部署机器学习模型。然而，这些设备通常具有有限的计算能力和存储空间。为了克服这些限制，本文将介绍一种针对资源受限设备的轻量化微调技术，旨在提高模型性能同时降低计算成本。 1. 引言 在边缘计算场景中，如物联网...
在 AI Native 环境中实现自动超参数优化的微调方法
摘要 随着人工智能技术的不断发展，深度学习模型的训练变得越来越复杂。为了达到最佳性能，需要对模型进行微调，特别是对超参数的选择。本文将探讨如何在 AI Native 环境下使用自动化工具和技术来优化模型的微调过程。 1. 引言 在机器学习项目中，选择合适的超参数对于获得最佳模型至关重要。手动调整这些参数既耗时又容易出错。因此，自动化的超参数优化成为了研究的热点之一。本文将介绍几种流行的自动...
使用Arena进行模型微调和模型管理
本文以大语言模型Qwen-7B-Chat为例，并结合Arena工具，演示如何在提交模型微调作业的同时，对模型微调作业所产生的模型进行管理。
《AIGC+软件开发新范式》--03.微调工程师岗位可能并不存在， 但使用 AI 编码工具已经成为刚需(2)
本文来源于阿里云社区电子书《AIGC+软件开发新范式》 《AIGC+软件开发新范式》--03.微调工程师岗位可能并不存在， 但使用 AI 编码工具已经成为刚需(1):https://developer.aliyun.com/article/1537627 观点 4： 通过公共云平台获取算力是算力紧缺的当下值得企业认真考虑的解决方案，短期内我们...
《AIGC+软件开发新范式》--03.微调工程师岗位可能并不存在， 但使用 AI 编码工具已经成为刚需(1)
本文来源于阿里云社区电子书《AIGC+软件开发新范式》 微调工程师岗位可能并不存在，但使用 AI 编码工具已经成为刚需 智能编码工具的快速普及是否会带来全新的编程模式？“大力出奇迹”的规律还将继续适用吗？本文节选自 QCon 北京特别策划圆桌节目，内容摘自阿里云通义灵码产品技术负责人陈鑫在圆桌对话里的精彩回答。全文见：Sora 很难跟进？微调就不是一个岗位？大...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注