混合词汇特征和LDA的语义相关度计算方法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

摘要：文本语义相关度计算在自然语言处理、语义信息检索等方面起着重要作用，以Wikipedia为知识库，基于词汇特征的ESA（ExplicitSemanticAnalysis）因简单有效的特点在这些领域中受到学术界的广泛关注和应用。然而其语义相关度计算因为有大量冗余概念的参与变成了一种高维度、低效率的计算方式，同时也忽略了文本所属主题因素对语义相关度计算的作用。引入LDA（LatentDirichletAllocation）主题模型，对ESA返回的相关度较高的概念转换为模型的主题概率向量，从而达到降低维度和提高效率的目的；将JSD距离（Jensen-ShannonDivergence）替换余弦距离的测量方法，使得文本语义相关度计算更加合理和有效。最后对不同层次的数据集进行算法的测试评估，结果表明混合词汇特征和主题模型的语义相关度计算方法的皮尔逊相关系数比ESA和LDA分别高出3%和9%以上。

送人玫瑰，手留余香~如您已下载到该资源，可在回帖当中上传与大家共享，欢迎来CDA社区交流学习。（仅供学术交流用。）

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：计算方法 相关度 特征和 LDA ALLOCATION 主题模型 词汇特征 语义相关度计算