基于决策树的汉语未登录词识别

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

摘要：未登录词识别是汉语分词处理中的一个难点.在大规模中文文本的自动分词处理中,未登录词是造成分词错识误的一个重要原因.本文首先把未登录词识别问题看成一种分类问题.即分词程序处理后产生的分词碎片分为‘合'(合成未登录词)和‘分'(分为两单字词)两类.然后用决策树的方法来解决这个分类的问题.从语料库及现代汉语语素数据库中共统计出六类知识:前字前位成词概率、后字后位成词概率、前字自由度、后字自由度、互信息、单字词共现概率.用这些知识作为属性构建了训练集.最后用C4.5算法生成了决策树.在分词程序已经识别出一定数量的未登录词[6]而仍有分词碎片情况下使用该方法,开放测试的召回率;69.42%,正确率:40.41%.实验结果表明,基于决策树的未登录词识别是一种值得继续探讨的方法.http://www.cqvip.com//QK/96983X/200401/8868966.html

送人玫瑰，手留余香~如您已下载到该资源，可在回帖当中上传与大家共享，欢迎来CDA社区交流学习。（仅供学术交流用。）

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：决策树 cqvip 学术交流 现代汉语 HTML 人工智能 自然语言处理 未登录词识别 数据挖掘 决策树