下载地址:https://u20150046.ctfile.com/fs/20150046-376110850
格式:pdf
【内容简介】
自然语言处理是计算语言学和人工智能之中与人机交互相关的领域之一。
本书是学习自然语言处理的一本综合学习指南,介绍了如何用Python实现各种NLP任务,以帮助读者创建基于真实生活应用的项目。全书共10章,分别涉及字符串操作、统计语言建模、形态学、词性标注、语法解析、语义分析、情感分析、信息检索、语篇分析和NLP系统评估等主题。
本书适合熟悉Python语言并对自然语言处理开发有一定了解和兴趣的读者阅读参考。
【目录】
第1章字符串操作1
1.1切分1
1.1.1将文本切分为语句2
1.1.2其他语言文本的切分2
1.1.3将句子切分为单词3
1.1.4使用TreebankWordTokenizer执行切分4
1.1.5使用正则表达式实现切分5
1.2标准化8
1.2.1消除标点符号8
1.2.2文本的大小写转换9
1.2.3处理停止词9
1.2.4计算英语中的停止词10
1.3替换和校正标识符11
1.3.1使用正则表达式替换单词11
1.3.2用另一个文本替换文本的示例12
1.3.3在执行切分前先执行替换操作12
1.3.4处理重复字符13
1.3.5去除重复字符的示例13
1.3.6用单词的同义词替换14
1.3.7用单词的同义词替换的示例15
1.4在文本上应用Zipf定律15
1.5相似性度量16
1.5.1使用编辑距离算法执行相似性度量16
1.5.2使用Jaccard系数执行相似性度量18
1.5.3使用Smith Waterman距离算法执行相似性度量19
1.5.4其他字符串相似性度量19
1.6小结20
第2章统计语言建模21
2.1理解单词频率21
2.1.1为给定的文本开发MLE25
2.1.2隐马尔科夫模型估计32
2.2在MLE模型上应用平滑34
2.2.1加法平滑34
2.2.2Good Turing平滑35
2.2.3Kneser Ney平滑40
2.2.4Witten Bell平滑41
2.3为MLE开发一个回退机制41
2.4应用数据的插值以便获取混合搭配42
2.5通过复杂度来评估语言模型42
2.6在语言建模中应用Metropolis—Hastings算法43
2.7在语言处理中应用Gibbs采样法43
2.8小结46
第3章形态学:在实践中学习47
3.1形态学简介47
3.2理解词干提取器48
3.3理解词形还原51
3.4为非英文语言开发词干提取器52
3.5形态分析器54
3.6形态生成器56
3.7搜索引擎56
3.8小结61
第4章词性标注:单词识别62
4.1词性标注简介62
默认标注67
4.2创建词性标注语料库68
4.3选择一种机器学习算法70
4.4涉及n—gram的统计建模72
4.5使用词性标注语料库开发分块器78
4.6小结80
第5章语法解析:分析训练资料81
5.1语法解析简介81
5.2Treebank建设82
5.3从Treebank提取上下文无关文法规则87
5.4从CFG创建概率上下文无关文法93
5.5CYK线图解析算法94
5.6Earley线图解析算法96
5.7小结102
第6章语义分析:意义很重要103
6.1语义分析简介103
6.1.1NER简介107
6.1.2使用隐马尔科夫模型的NER系统111
6.1.3使用机器学习工具包训练NER117
6.1.4使用词性标注执行NER117
6.2使用Wordnet生成同义词集id119
6.3使用Wordnet进行词义消歧122
6.4小结127