[帮助文档] LLM-文本标准化组件说明_人工智能平台 PAI(PAI)

LLM-文本标准化组件主要用于大语言模型(LLM)的文本数据预处理工作,可以将文本Unicode标准化以及繁体转简体。

[帮助文档] ES机器学习之乱码识别与乱码过滤_检索分析服务 Elasticsearch版(ES)

在分析社交媒体、论坛或在线交流中的文本时,可能会遇到含糊不清、无逻辑性或乱码的文本,导致数据分析的准确性降低,进而影响到数据驱动决策的质量。本文介绍如何在Elasticsearch(简称ES)中通过一个NLP模型识别和过滤出乱码的文本。

高校精品课-复旦大学-机器学习与深度学习

1 课时 |
105 人已学 |
免费

PAI平台学习路线:机器学习入门到应用

52 课时 |
685 人已学 |
免费

场景实践 - 机器学习PAI实现精细化营销

7 课时 |
138 人已学 |
免费
开发者课程背景图
【Python机器学习】文本特征提取及文本向量化讲解和实战(图文解释 附源码)

【Python机器学习】文本特征提取及文本向量化讲解和实战(图文解释 附源码)

需要源码和数据集请点赞关注收藏后评论区留言私信~~~文本提取及文本向量化词频和所谓的Tf-idf是传统自然语言处理中常用的两个文本特征。以词频特征和Tf-idf特征为基础,可以将一段文本表示成一个向量。将多个文本向量化后,然后就可以运用向量距离计算方法来比较它们的相似性、用聚类算法来分析它们的自然分...

请问机器学习PAI easyrec是否支持文本特征输入?

请问机器学习PAI easyrec是否支持文本特征输入?可有教程参考。这里separator是代表文本的分隔符吗? 中文需要提前分词吧

请问一下 有人熟悉 通用文本打标解决方案文档 机器学习PAI平台的用法吗?

请问一下 有人熟悉 通用文本打标解决方案文档 机器学习PAI平台的用法吗?

基于非英语数据集的图形机器学习和集成学习方法增强文本分类和文本情感分析

基于非英语数据集的图形机器学习和集成学习方法增强文本分类和文本情感分析

摘要近年来,机器学习方法,特别是图学习方法,在自然语言处理领域,特别是文本分类任务中取得了巨大的成果。然而,许多这样的模型在不同语言的数据集上显示出有限的泛化能力。在本研究中,我们在非英语数据集(如波斯语Digikala数据集)上研究并阐述了图形机器学习方法,该方法由用户对文本分类任务的意见组成。更...

2021-4月Python 机器学习——中文新闻文本标题分类

试题说明试题说明任务描述基于THUCNews数据集的文本分类, THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档,参赛者需要根据新闻标题的内容用算法来判断该新闻属于哪一类别数据说明THUCNews是根据新浪新闻RSS订阅频道2005~20...

2021-4月Python 机器学习——中文新闻文本标题分类(简单容易版)

试题说明任务描述基于THUCNews数据集的文本分类, THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档,参赛者需要根据新闻标题的内容用算法来判断该新闻属于哪一类别数据说明THUCNews是根据新浪新闻RSS订阅频道2005~2011年间...

你好,我用机器学习PAI业务数据训练了easy_transfer的bert双塔文本匹配,约10w样?

你好,我用机器学习PAI业务数据训练了easy_transfer的bert双塔文本匹配,约10w样本,训练5个epoch,得到oss中的模型结果如下图所示,请问如何查看训练过程中的loss变化,哪个保存的checkpoint在验证集上的效果最好?也就是avg_loss和eval中的数据怎么看?

基于机器学习的纠错系统技术 - 智能文本纠错 API

基于机器学习的纠错系统技术 - 智能文本纠错 API

引言在过去的几十年里,文本纠错技术已经取得了巨大的进展,从最初的基于规则的纠错系统到现在的基于机器学习的纠错系统,技术的发展已经帮助人们解决了大量的文本纠错问题,随着机器学习技术的发展,文本纠错技术也发生了重大变化。本文将介绍一款新的基于机器学习的纠错技术,并详细列出实际的可应用场景。工作原理今天介...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

阿里云机器学习平台PAI
阿里云机器学习平台PAI
阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。
2435+人已加入
加入
相关电子书
更多
人工智能平台PAI的MaaS实践
阿里云PAI模型服务 开启AIGC创新之旅
机器学习中,使用Scikit-Leam简单处理文本数据
立即下载 立即下载 立即下载