入门NLTK：Python自然语言处理库初级教程
NLTK（Natural Language Toolkit）是一个Python库，用于实现自然语言处理（NLP）的许多任务。NLTK包括一些有用的工具和资源，如文本语料库、词性标注器、语法分析器等。在这篇初级教程中，我们将了解NLTK的基础功能。 一、安装NLTK 在开始使用NLTK之前...
Python NLP 自然语言处理
@[toc] Python NLP 自然语言处理 """ 基于 https://github.com/isnowfy/snownlp $ pip install snownlp """ from snownlp import SnowNLP # 分词 def snownlp_cut(text): return Snow...
Python自然语言处理：NLTK入门指南
一、简介 1. 什么是自然语言处理（NLP） 自然语言处理（Natural Language Processing，NLP）是指计算机处理人类语言的领域。它是一门多学科交叉的学科，将计算机科学、人工智能、语言学等诸多学科的理论和方法融合在一起，将人类语言转化为计算机所能理解的形式，实现...
NLP 与 Python：构建知识图谱实战案例
概括积累了一两周，好久没做笔记了，今天，我将展示在之前两周的实战经验：如何使用 Python 和自然语言处理构建知识图谱。网络图是一种数学结构，用于表示点之间的关系，可通过无向/有向图结构进行可视化展示。它是一种将相关节点映射的数据库形式。知识库是来自不同来源信息的集中存储库，如维基百科、百度百科等。知识图谱是一种采用图形数据模型的知识库。简单来说，它是一种特殊类型的网络图，用于展示现实世界实体....
NLP中的预处理：使用Python进行文本归一化（二）
缩写替换 使用维基百科中的缩略词列表，我们遍历句子并用它们的实际单词替换这些缩略词（这需要在标记化之前发生，因为一个标记被分成两部分）。这有助于以后句子结构的改进。该列表可在此处下载。def normalize_contractions(sentence_list): contraction_list = json.loads(open('english_co...
NLP中的预处理：使用Python进行文本归一化（一）
我们在有关词干的文章中讨论了文本归一化。但是，词干并不是文本归一化中最重要（甚至使用）的任务。我们还进行了其他一些归一化技术的研究，例如Tokenization，Sentencizing和Lemmatization。但是，还有其他一些用于执行此重要预处理步骤的小方法，将在本文中进行讨论。 请记住，没有适用于所有情况的“正确”归一化方法列表。实际上，随着我们对NLP的深入研究，越来越....
预测分词---Python自然语言处理（8）
前言在机器学习中，我们有了训练集的话，就开始预测。预测是指利用模型对句子进行推断的过程。在中文分词任务中也就是利用模型推断分词序列，同时也叫解码。在HanLP库中，二元语法的解码由ViterbiSegment分词器提供。本篇将详细介绍ViterbiSegment的使用方式加载模型在前篇博文中，我们已经得到了训练的一元，二元语法模型。后续的处理肯定会基于这几个文件来处理。所以，我们首先要做的就是加....
语料库标注与训练模型---Python自然语言处理（7）
前言通过前面博文的学习，我们知道在处理自然语言之时，肯定会用到语料库。目前，常用的语料库有PKU（人民日报语料库），MSR（微软亚洲研究院语料库）。而因为PKU是1998年时公开的，随着时代的发展，其分词早已经不大符合大众习惯。加之其手动编写有很多失误。所以，我们将在后面的博文中使用MSR语料库。语料库就绪之后，就可以开始训练了。相信接触过机器学习的读者，或多或少都对训练并不陌生。训练指的是，给....
拼音转换---Python自然语言处理（6）
什么是拼音转换在我们学习语言之前，我们一般会学习拼音来认识汉字，并学会如何读汉字。所以，拼音在对于我们语言的重要性不言而喻。而拼音转换指的是将汉字转为拼音的过程。但是，我们中文博大精深，一般来说某个字并不仅仅只有一个读音，比如“翟”，它作为姓氏可以读作zhái，作为其他可读作di。这是就需要结合上下文，或者说结合与其组合的词汇进行转换拼音。不仅如此，拼音还有音调，比如一二三四声表示的意义有时候也....
简繁体转换---Python自然语言处理（5）
简体繁体转换如今，世界上存在两种中文，一种是中文简体，一种是中文繁体。如果要完全掌握中文语言的自然语言处理，那么简繁都不可避免。所以，掌握了简体与繁体的转换，往往能够事半功倍。而HanLP也提供了简繁转换的类：CharTable，用它来执行字符正规化。比如简体转换繁体，全角转换半角，大写转换小写，都可以使用该类来实现。使用CharTable进行简繁体转换下面，我们来直接使用CharTable进行....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
自然语言处理python相关内容
自然语言处理您可能感兴趣
自然语言处理