聚类算法在结构化语言模型中的应用

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

摘要：逐步把握文章的语义对于自然语言处理来说是一项很大的挑战。在自然语言处理中，数据的稀疏性是一个让许多学者都感到头疼的问题。当一个词语的词频小到不能进行可靠的极大似然估计的时候，机器就不能准确的把握这个词的含义了。一个词的含义可以通过计算该词的相似词含义的加权得出。所以，词与词之间的相似度对于解决词语稀疏性问题将会有所帮助，本文所研究的词语相似度计算也是基于这一点进行的。实验证明，该算法在算法复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进。在本文中，首先介绍国内外关于相似度计算的几种成熟的算法。然后，把问题层层细分到几个模块分别予以讨论，并采用基于上下丈环境的相似度算法。本系统的功能是对语料库进行统计学习，掌握其中词汇的上下丈分布特征，形成上下文信息集；对这些上下丈信息计算互信息值作为权重，通过计算两个词语的上下文环境的相符程度得到它们之间的相似度。最后，讲解一下系统的实现和性能评价，即交叉熵的计算。

原文链接:http://www.cqvip.com//QK/91665X/200803/27179632.html

送人玫瑰，手留余香~如您已下载到该资源，可在回帖当中上传与大家共享，欢迎来CDA社区交流学习。（仅供学术交流用。）

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：聚类算法 结构化 极大似然估计 cqvip 语言处理 相似度 数据稀疏性 互信息 上下文信息 交叉熵