楼主: sunyv2000
2687 0

[问答] 用R做文本分类,knn算法,一般需要多少个特征词? [推广有奖]

  • 1关注
  • 0粉丝

小学生

92%

还不是VIP/贵宾

-

威望
0
论坛币
57 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
73 点
帖子
2
精华
0
在线时间
18 小时
注册时间
2014-5-19
最后登录
2020-3-14

楼主
sunyv2000 发表于 2015-11-11 10:48:03 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
如题!
本人使用knn算法。因为tm包在windows下做词条文档矩阵有问题,就在Linux下做。安装了Rstudio-server.在另一台电脑用游览器访问。使用jiebaR包分词,tm包做分类。
做完文档词条矩阵之后,转化成数据框,然后用knn做分类与检测。
用了400个化工产业的企业文本(包括主营产品和企业简介)作为训练集,200个化工企业和200个非化工企业。再用400个企业做测试集,效果很不理想。200个化工企业中,只查出了13个化工企业,而非化工企业,则全部判定正确。总的来说,倾向于判定企业属于非化工企业。
自己总结了一下原因,应该是knn算法对小数据集有效率高一些,对大数据集有效率低。
另一个是我的特征词太多了,有八千多个。我看炼数成金的tm包教学中,英文垃圾邮件分类只用了50多个特征词。
我总结的两个原因对不对?请大神赐教。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Knn算法 knn Windows RStudio Studio windows 台电脑 游览器 Linux 英文

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2025-12-29 03:29