文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(十一):Trainer训练类

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(十):repetition_penalty惩罚系数

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(九):大模型微调之计算微调参数占比

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(八):大模型微调之LoraConfig

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(六):torch.cuda.OutOfMemoryError: CUDA out of memory解决

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

【AI大模型】Transformers大模型库(六):torch.cuda.OutOfMemoryError: CUDA out of memory解决
文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(五):AutoModel、Model Head及查看模型结构

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(四):AutoTokenizer

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(三):特殊标记(special tokens)

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(二):AutoModelForCausalLM

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

【AI大模型】Transformers大模型库(二):AutoModelForCausalLM
文章 2024-08-13 来自:开发者社区

【AI大模型】Transformers大模型库(一):Tokenizer

一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"activityCardStyle","productCardInfo":{"productTitle":"","productDescription":"","productContentLink":"","isDisplayProductIcon":true,"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"AI 编码","activityDescription":"百万 Qwen-coder 大模型 tokens 免费体验,灵码79元起,加速 AI 应用落地 ","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityButton1":{"activityButtonText":"查看详情","activityButtonLink":"https://www.aliyun.com/benefit/scene/coding"},"activityButton2":{"activityButtonText":"立即体验","activityButtonLink":"https://bailian.console.aliyun.com/?spm=5176.30202035.J_VanPN1KXIVRyCVhZMwQ6t.6.1b791e71pokqL0&tab=model#/efm/model_experience_center/text?currentTab=textChat&modelId=qwen3-coder-plus"},"activityButton3":{"activityButtonText":"立即购买","activityButtonLink":"https://www.aliyun.com/benefit/scene/coding#J_1"}}}
AI 编码
百万 Qwen-coder 大模型 tokens 免费体验,灵码79元起,加速 AI 应用落地

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注