tm包创建中文的文本词条矩阵乱码。

> library(tm)
载入需要的程辑包：NLP
> sms_corpus <- Corpus(VectorSource(segWord))
> sms_dtm <- DocumentTermMatrix(x = sms_corpus)
> str(sms_dtm)
List of 6
$ i       : int [1:65439] 1 2 3 4 5 6 7 8 9 10 ...
$ j       : int [1:65439] 1 2 3 3 1 2 4 5 6 4 ...
$ v       : num [1:65439] 1 1 1 1 1 1 1 1 1 1 ...
$ nrow    : int 65439
$ ncol    : int 15611
$ dimnames:List of 2
  ..$ Docs : chr [1:65439] "1" "2" "3" "4" ...
  ..$ Terms: chr [1:15611] "楂樺喎" "濡撳コ" "璺熶笂" "杞�鍙�" ...
- attr(*, "class")= chr [1:2] "DocumentTermMatrix" "simple_triplet_matrix"
- attr(*, "weighting")= chr [1:2] "term frequency" "tf"
已经用jiebaR分完词了想创建一个文本词条矩阵。结果输出为乱码。求助各位大神

这个不是jieba分词的原因，是tm包 DocumentTermMatrix()这个命令以后产生了乱码。
解决的办法有几个

1、修改 locale 为英文，
在执行TermDocumentMatrix前，调用Sys.setlocale(locale="English")，之后再设定回去，Sys.setlocale(locale="Chinese (Simplified)_People's Republic of China.936")，local设置通过函数sessionInfo()获得。

2、修改 tm 包的 tokenizer.R 里的 scan_tokenizer 函数 ，然后安装修改后的 tm 包。

原函数：
scan_tokenizer <- NLP::Token_Tokenizer(function(x)
    scan(text = as.character(x), what = "character", quote = "", quiet = TRUE))

改为
scan_tokenizer <- NLP::Token_Tokenizer(function(x){
  con <- textConnection(as.character(x))
  tokens <- scan(con, what = "character", quote = "", quiet = TRUE)
  close(con)
  tokens
})

谢谢你

a454093113 发表于 2017-4-17 00:39
谢谢你

请问 第二种改函数的方法 最新的tm包找不到tokenizer.R 我下载旧版本tm0.6-1 md5验证成功 但是library()时显示无效这该怎么办

niu9146 发表于 2017-4-14 23:56
这个不是jieba分词的原因，是tm包 DocumentTermMatrix()这个命令以后产生了乱码。
解决的办法有几个

请问 我最近也出现这个问题 我现在用的是最新的tm包 里面我没找到tokenizer.R 我又在官网下载了旧版本tm0.6-1 安装显示成功 但library()时显示无效的包我该怎么办  现在很急

用第一种方法试过，虽然不是乱码，但是依然不是文字啊

所以，楼主解决了吗

qiaosangcc 发表于 2017-7-28 21:22
所以，楼主解决了吗

sms_dtm<-DocumentTermMatrix(x =sms_corpus, control = list(wordLengths = c(2,Inf)))
sms_dtm <- DocumentTermMatrix(x = sms_corpus)
Sys.setlocale(category = "LC_ALL", locale = "us")#解决报错

将R和Rstudio升级到最新版本，完美解决问题

请问下这个乱码问题最后解决了吗，怎么解决的，究竟是什么原因额，快被烦死了。。。