LDAVis文本主题隶属度

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我用R的LDA包聚类文本主题并用LDAVis将主题可视化。k=40，从可视化结果中我得到了39个可解释的主题，然后输出theta的时候发现每个文本的主题相关度和文本主题并不对应。我再回头看了一下代码，发现：
comments <- as.list(comments)
doc.list <- strsplit(as.character(comments),split=" ")
term.table <- table(unlist(doc.list))
term.table <- sort(term.table, decreasing = TRUE)
del <- term.table < 5| nchar(names(term.table))<2
term.table <- term.table[!del]
vocab <- names(term.table)
get.terms <- function(x) {
index <- match(x, vocab)
index <- index[!is.na(index)]
rbind(as.integer(index-1), as.integer(rep(1, length(index))))
}
documents <- lapply(doc.list, get.terms)
K <- 35
G <- 5000
alpha <- 0.10
eta <- 0.02
library(lda)
set.seed(357)
fit <- lda.collapsed.gibbs.sampler(documents = documents, K = K, vocab = vocab, num.iterations = G, alpha = alpha, eta = eta, initial = NULL, burnin = 0, compute.log.likelihood = TRUE)


get.terms函数rbind那行将每条文本对应的词语的编号向前移了一位，这样的话每个文本的词向量就不是原来的。我尝试去掉-1，运行时错误出现在fit那行，显示词语下表超出范围。我仔细翻阅了一下 lda.collapsed.gibbs.sampler函数，documents参数需要从0开始检索词语。
但是R的元素下表都是从0开始的，所以get.terms（）将词语序号都-1，这下就无奈了。有没有亲能提供一下解决思路。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Davis AVI LDA Comments comment LDA 主题模型 可视化 LDAVis