[问答] LDA主题模型中关于困惑度perplexity的问题 [推广有奖]

0关注
0粉丝

等待验证会员

初中生

47%

还不是VIP/贵宾

威望: 0 级
论坛币: 10 个
通用积分: 0
学术水平: 0 点
热心指数: 0 点
信用等级: 0 点
经验: 66 点
帖子: 6
精华: 0
在线时间: 16 小时
注册时间: 2019-1-4
最后登录: 2019-5-5

楼主

aaasssdddwww 发表于 2019-3-9 06:50:58 |AI写论文

是否 +2 论坛币

k人参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

LDA分析中，分析来确定主题数量时，perplexity随着主题数目增大持续下将，该怎么办？理论上讲，应该选择困惑度最小的那个主题数模，我只做了5到60个主题的分析，由于数据量太大，花了43个小时。我可以继续计算60到200个主题的perplexity，但是即便是到了100个主题时，perplexity开始上升，但是100个主题显然太多了，与实际情况不相符。那么我目前这个情况，该如何选择如题数目呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：主题数目如何选择实际情况大持续困惑度

相关帖子

沙发

祝贺人大

发表于 2019-4-2 10:55:36

同问

藤椅

structual 发表于 2019-10-29 11:13:45

LDA主题模型属于最基础的主题模型，采用perplexity来选择最优主题数，我的经验是不太靠谱的。不少研究表明，基于perplexity选择的主题，语义上与人工的判别有一定差距。如果不用LDA，而是用HDP，划分出来的主题数多而细，难以满足我们经管领域的研究需要。国外2016年以来的研究表明，采用 semantic coherence和 topic exclusivity指标来评价，能较好地解决这一问题。我有一篇已录用的中文论文讲如何应用，等见刊后可以查看。