楼主: MiSs.RainBowsss
490 0

[数据挖掘] 【python】文本分析时的停用词表以及去除除中文外的所有内容的小技巧 [分享]

  • 0关注
  • 0粉丝

初中生

9%

还不是VIP/贵宾

-

威望
0
论坛币
26 个
通用积分
1.0000
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
153 点
帖子
2
精华
0
在线时间
21 小时
注册时间
2019-2-26
最后登录
2019-12-6

MiSs.RainBowsss 在职认证  发表于 2019-8-16 11:10:28 |显示全部楼层
pat=re.compile(r'[\u4e00-\u9fa5]+')      
result=pat.findall(row)
“\u4e00-\u9fa5”是中文编码范围,只会剩下中文内容,免去了在停用词表中添加一些无意义的标点符号,数字,英文字母等。
附件是“百度停用词列表”,“哈工大停用词表”,“四川大学机器智能实验室停用词库”,“中文停用词库”原始停用词表以及四个整合到一起的停用词表,删除了原有停用词表的标点符号,字母,数字。
中文停用词库.txt (4.05 KB) 四川大学机器智能实验室停用词库.txt (6.21 KB) 哈工大停用词表.txt (4.48 KB) 百度停用词列表.txt (9.11 KB) stopwords.txt (12.13 KB, 售价: 1 个论坛币)

您需要登录后才可以回帖 登录 | 我要注册

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2019-12-10 08:54