【python】文本分析时的停用词表以及去除除中文外的所有内容的小技巧

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

pat=re.compile(r'[\u4e00-\u9fa5]+')      
result=pat.findall(row)
“\u4e00-\u9fa5”是中文编码范围，只会剩下中文内容，免去了在停用词表中添加一些无意义的标点符号，数字，英文字母等。
附件是“百度停用词列表”，“哈工大停用词表”，“四川大学机器智能实验室停用词库”，“中文停用词库”原始停用词表以及四个整合到一起的停用词表，删除了原有停用词表的标点符号，字母，数字。
中文停用词库.txt (4.05 KB)

2019-8-16 11:09:33 上传

四川大学机器智能实验室停用词库.txt (6.21 KB)

2019-8-16 11:09:32 上传

哈工大停用词表.txt (4.48 KB)

2019-8-16 11:09:32 上传

百度停用词列表.txt (9.11 KB)

2019-8-16 11:09:32 上传

stopwords.txt (12.13 KB, 需要: 1 个论坛币)

2019-8-16 11:09:36 上传

整合后的停用词表
需要: 1 个论坛币  [购买]

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏10 回帖

楼主，好人榜排第一！

xiexieshouzhu

MiSs.RainBowsss 发表于 2019-8-16 11:10
pat=re.compile(r'[\u4e00-\u9fa5]+')      
result=pat.findall(row)
“\u4e00-\u9fa5”是中文编码范围， ...

为什么最后一个包烟删除标点符号呢？

dbyluck 发表于 2020-10-13 14:17
为什么最后一个包烟删除标点符号呢？

最后一个停用词包为啥不需要包含标点符号呢？谢谢