请选择 进入手机版 | 继续访问电脑版
26802 4

用 Python 做文本挖掘的流程(摘自知乎) [推广有奖]

贵宾

学术权威

10%

还不是VIP/贵宾

-

TA的文库  其他...

Data Mining

威望
3
论坛币
83986 个
通用积分
16348.6673
学术水平
669 点
热心指数
648 点
信用等级
501 点
经验
8806 点
帖子
3347
精华
20
在线时间
2864 小时
注册时间
2012-11-11
最后登录
2024-3-27

初级学术勋章 初级热心勋章 初级信用勋章 中级学术勋章 中级热心勋章 中级信用勋章 高级学术勋章 高级热心勋章 高级信用勋章

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
希望对大家有帮助:
  • 收集数据
    • 数据集。如果是已经被人做成数据集了,这就省去了很多麻烦事
    • 抓取。这个是 Python 做得最好的事情,优秀的包有很多,比如 scrapybeautifulsoup 等等。
  • 预处理(对这里的高质量讨论结果的修改,下面的顺序仅限英文)
  • 去掉抓来的数据中不需要的部分,比如 HTML TAG,只保留文本。结合 beautifulsoup 和正则表达式就可以了。pattern.web 也有相关功能。
  • 处理编码问题。没错,即使是英文也需要处理编码问题!由于 Python2 的历史原因,不得不在编程的时候自己处理。英文也存在 unicode 和 utf-8 转换的问题,中文以及其他语言就更不用提了。这里有一个讨论,可以参考,当然网上也有很多方案,找到一个适用于自己的最好。
  • 将文档分割成句子。
  • 将句子分割成词。专业的叫法是 tokenize。
  • 拼写错误纠正。pyenchant 可以帮你!(中文就没有这么些破事!)
  • POS Tagging。nltk 是不二选择,还可以使用 pattern
  • 去掉标点符号。使用正则表达式就可以。
  • 去掉长度过小的单词。len<3 的是通常选择。
  • 去掉 non-alpha 词。同样,可以用正则表达式完成 \W 就可以。
  • 转换成小写。
  • 去掉停用词。Matthew L. Jockers 提供了一份比机器学习和自然语言处理中常用的停词表更长的停词表中文的停词表 可以参考这个。
  • lemmatization/stemming。nltk 里面提供了好多种方式,推荐用 wordnet 的方式,这样不会出现把词过分精简,导致词丢掉原型的结果,如果实在不行,也用 snowball 吧,别用 porter,porter 的结果我个人太难接受了,弄出结果之后都根本不知道是啥词了。MBSP也有相关功能。
  • 重新去掉长度过小的词。是的,再来一遍。
  • 重新去停词。上面这两部完全是为了更干净。
  • 到这里拿到的基本上是非常干净的文本了。如果还有进一步需求,还可以根据 POS 的结果继续选择某一种或者几种词性的词。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:python 文本挖掘 beautiful 希望对大家有帮助 Pattern

If you want something,work for it!
tuling56 发表于 2014-7-2 19:24:43 |显示全部楼层 |坛友微信交流群
正在搞,流程是这个流程

使用道具

painx 发表于 2014-7-4 20:03:15 |显示全部楼层 |坛友微信交流群
知乎的出处在哪??

使用道具

jenson2023 发表于 2014-7-19 22:46:36 |显示全部楼层 |坛友微信交流群
text miner  在enterprise miner,ibm modeler,sap business object中都有很好的阐述

使用道具

minisstep 发表于 2017-2-20 10:47:25 |显示全部楼层 |坛友微信交流群
tuling56 发表于 2014-7-2 19:24
正在搞,流程是这个流程
搞的怎么样了?

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-29 18:18