Text Mining Infrastructure in R

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

thors:	Ingo Feinerer, Kurt Hornik, David Meyer
Title:	Text Mining Infrastructure in R
Abstract:	During the last decade text mining has become a widely used discipline utilizing statistical and machine learning methods. We present the tmpackage which provides a framework for text mining applications within R. We give a survey on text mining facilities in R and explain how typical application tasks can be carried out using our framework. We present techniques for count-based analysis methods, text clustering, text classification and string kernels.
	Page views:: 105581. Submitted: 2007-09-05. Published: 2008-03-31.
Paper:	Text Mining Infrastructure in R     [size=1em]Download PDF (Downloads: 105019)
Supplements:	tm_0.3.tar.gz: R source package [size=1em]Download(Downloads: 5677; 569KB) v25i05.R: R example code from the paper [size=1em]Download(Downloads: 10196; 25KB)
DOI:	10.18637/jss.v025.i05

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Text Mining Structure INFRAS struct ning discipline facilities techniques framework learning

1. ###################################################
   
2. ### chunk number 1: Preliminaries
   
3. ###################################################
   
4. library("clue")
   
5. library("tm")
   
6. 
   
7. 
   
8. ###################################################
   
9. ### chunk number 2: NewCorpus eval=FALSE
   
10. ###################################################
    
11. ## new("Corpus", .Data = ..., DMetaData = ..., CMetaData = ..., DBControl = ...)
    
12. 
    
13. 
    
14. ###################################################
    
15. ### chunk number 3: CorpusConstructor eval=FALSE
    
16. ###################################################
    
17. ## Corpus(object = ...,
    
18. ##            readerControl = list(reader = object@DefaultReader,
    
19. ##                            language = "en_US",
    
20. ##                            load = FALSE),
    
21. ##            dbControl = list(useDb = TRUE,
    
22. ##                             dbName = "texts.db",
    
23. ##                             dbType = "DB1"))
    
24. 
    
25. 
    
26. ###################################################
    
27. ### chunk number 4: NewPlainTextDocument eval=FALSE
    
28. ###################################################
    
29. ## new("PlainTextDocument", .Data = "Some text.", URI = uri, Cached = TRUE,
    
30. ##     Author = "Mr. Nobody", DateTimeStamp = Sys.time(),
    
31. ##     Description = "Example", ID = "ID1", Origin = "Custom",
    
32. ##     Heading = "Ex. 1", Language = "en_US")
    
33. 
    
34. 
    
35. ###################################################
    
36. ### chunk number 5: NewTextRepository eval=FALSE
    
37. ###################################################
    
38. ## new("TextRepository",
    
39. ##     .Data = list(Col1, Col2), RepoMetaData = list(created = "now"))

复制代码

1. ###################################################
   
2. ### chunk number 6: NewTermDocMatrix eval=FALSE
   
3. ###################################################
   
4. ## new("TermDocMatrix", Data = tdm, Weighting = weightTf)
   
5. 
   
6. 
   
7. ###################################################
   
8. ### chunk number 7: WekaTokenizer eval=FALSE
   
9. ###################################################
   
10. ## TermDocMatrix(col, control = list(tokenize = NGramTokenizer))
    
11. 
    
12. 
    
13. ###################################################
    
14. ### chunk number 8: openNLPTokenizer eval=FALSE
    
15. ###################################################
    
16. ## TermDocMatrix(col, control = list(tokenize = tokenize))
    
17. 
    
18. 
    
19. ###################################################
    
20. ### chunk number 9: SentenceDetection eval=FALSE
    
21. ###################################################
    
22. ## TermDocMatrix(col, control = list(tokenize = sentDetect))
    
23. 
    
24. 
    
25. ###################################################
    
26. ### chunk number 10: NewDirSource eval=FALSE
    
27. ###################################################
    
28. ## new("DirSource", LoDSupport = TRUE, FileList = dir(),
    
29. ##     Position = 0, DefaultReader = readPlain, Encoding = "latin1")

复制代码

1. ###################################################
   
2. ### chunk number 11: Ovid
   
3. ###################################################
   
4. txt <- system.file("texts", "txt", package = "tm")
   
5. (ovid <- Corpus(DirSource(txt),
   
6.                     readerControl = list(reader = readPlain,
   
7.                                          language = "la",
   
8.                                          load = TRUE)))
   
9. 
   
10. 
    
11. ###################################################
    
12. ### chunk number 12: CorpusDBSupport eval=FALSE
    
13. ###################################################
    
14. ## Corpus(DirSource(txt),
    
15. ##            readerControl = list(reader = readPlain,
    
16. ##                                 language = "la", load = TRUE),
    
17. ##            dbControl = list(useDb = TRUE,
    
18. ##                             dbName = "/home/user/oviddb",
    
19. ##                             dbType = "DB1"))
    
20. 
    
21. 
    
22. ###################################################
    
23. ### chunk number 13: IDOvid
    
24. ###################################################
    
25. ID(ovid[[1]])
    
26. 
    
27. 
    
28. ###################################################
    
29. ### chunk number 14: AuthorOvid
    
30. ###################################################
    
31. Author(ovid[[1]]) <- "Publius Ovidius Naso"
    
32. 
    
33. 
    
34. ###################################################
    
35. ### chunk number 15:
    
36. ###################################################
    
37. meta(ovid[[1]])

复制代码

1. ###################################################
   
2. ### chunk number 11: Ovid
   
3. ###################################################
   
4. txt <- system.file("texts", "txt", package = "tm")
   
5. (ovid <- Corpus(DirSource(txt),
   
6.                     readerControl = list(reader = readPlain,
   
7.                                          language = "la",
   
8.                                          load = TRUE)))
   
9. 
   
10. 
    
11. ###################################################
    
12. ### chunk number 12: CorpusDBSupport eval=FALSE
    
13. ###################################################
    
14. ## Corpus(DirSource(txt),
    
15. ##            readerControl = list(reader = readPlain,
    
16. ##                                 language = "la", load = TRUE),
    
17. ##            dbControl = list(useDb = TRUE,
    
18. ##                             dbName = "/home/user/oviddb",
    
19. ##                             dbType = "DB1"))
    
20. 
    
21. 
    
22. ###################################################
    
23. ### chunk number 13: IDOvid
    
24. ###################################################
    
25. ID(ovid[[1]])
    
26. 
    
27. 
    
28. ###################################################
    
29. ### chunk number 14: AuthorOvid
    
30. ###################################################
    
31. Author(ovid[[1]]) <- "Publius Ovidius Naso"
    
32. 
    
33. 
    
34. ###################################################
    
35. ### chunk number 15:
    
36. ###################################################
    
37. meta(ovid[[1]])
    
38. 
    
39. 
    
40. ###################################################
    
41. ### chunk number 16: OvidSubset
    
42. ###################################################
    
43. ovid[1:3]
    
44. 
    
45. 
    
46. ###################################################
    
47. ### chunk number 17: OvidDocument
    
48. ###################################################
    
49. ovid[[1]]
    
50. 
    
51. 
    
52. ###################################################
    
53. ### chunk number 18: Concatenation
    
54. ###################################################
    
55. c(ovid[1:2], ovid[3:4])
    
56. 
    
57. 
    
58. ###################################################
    
59. ### chunk number 19: LengthOvid
    
60. ###################################################
    
61. length(ovid)
    
62. 
    
63. 
    
64. ###################################################
    
65. ### chunk number 20: SummaryOvid
    
66. ###################################################
    
67. summary(ovid)
    
68. 
    
69. 
    
70. ###################################################
    
71. ### chunk number 21: tmUpdate
    
72. ###################################################
    
73. tmUpdate(ovid, DirSource(txt))
    
74. 
    
75. 
    
76. ###################################################
    
77. ### chunk number 22: OvidMeta
    
78. ###################################################
    
79. ovid <- appendMeta(ovid,
    
80.                    cmeta = list(test = c(1,2,3)),
    
81.                    dmeta = list(clust = c(1,1,2,2,2)))
    
82. summary(ovid)
    
83. CMetaData(ovid)
    
84. DMetaData(ovid)
    
85. 
    
86. 
    
87. ###################################################
    
88. ### chunk number 23: OvidAppendElem
    
89. ###################################################
    
90. (ovid <- appendElem(ovid, data = ovid[[1]], list(clust = 1)))
    
91. 
    
92. 
    
93. ###################################################
    
94. ### chunk number 24: TextRepo
    
95. ###################################################
    
96. (repo <- TextRepository(ovid))
    
97. 
    
98. 
    
99. ###################################################
    
100. ### chunk number 25: TextRepoMeta
     
101. ###################################################
     
102. repo <- appendElem(repo, ovid, list(modified = date()))
     
103. repo <- appendMeta(repo, list(moremeta = 5:10))
     
104. summary(repo)
     
105. RepoMetaData(repo)
     
106. 
     
107. 
     
108. ###################################################
     
109. ### chunk number 26:
     
110. ###################################################
     
111. meta(ovid, type = "corpus", "foo") <- "bar"
     
112. meta(ovid, type = "corpus")
     
113. meta(ovid, "someTag") <- 6:11
     
114. meta(ovid)
     
115. 
     
116. 
     
117. ###################################################
     
118. ### chunk number 27: tmMap
     
119. ###################################################
     
120. tmMap(ovid, FUN = tmTolower)
     
121. 
     
122. 
     
123. ###################################################
     
124. ### chunk number 28: tmFilter
     
125. ###################################################
     
126. tmFilter(ovid, FUN = searchFullText, "Venus", doclevel = TRUE)
     
127. 
     
128. 
     
129. ###################################################
     
130. ### chunk number 29: tmIndex
     
131. ###################################################
     
132. tmIndex(ovid, "identifier == '2'")
     
133. 
     
134. 
     
135. ###################################################
     
136. ### chunk number 30: GmaneSource eval=FALSE
     
137. ###################################################
     
138. ## setClass("GmaneSource",
     
139. ##          representation(URI = "ANY", Content = "list"),
     
140. ##          contains = c("Source"))
     
141. 
     
142. 
     
143. ###################################################
     
144. ### chunk number 31: GmaneSourceConstructor eval=FALSE
     
145. ###################################################
     
146. ## setMethod("GmaneSource",
     
147. ##           signature(object = "ANY"),
     
148. ##           function(object, encoding = "UTF-8") {
     
149. ##               ## ---code chunk---
     
150. ##               new("GmaneSource", LoDSupport = FALSE, URI = object,
     
151. ##                   Content = content, Position = 0, Encoding = encoding)
     
152. ##           })
     
153. 
     
154. 
     
155. ###################################################
     
156. ### chunk number 32: stepNext eval=FALSE
     
157. ###################################################
     
158. ## setMethod("stepNext",
     
159. ##           signature(object = "GmaneSource"),
     
160. ##           function(object) {
     
161. ##               object@Position <- object@Position + 1
     
162. ##               object
     
163. ##           })
     
164. 
     
165. 
     
166. ###################################################
     
167. ### chunk number 33: getElem eval=FALSE
     
168. ###################################################
     
169. ## setMethod("getElem",
     
170. ##           signature(object = "GmaneSource"),
     
171. ##           function(object) {
     
172. ##               ## ---code chunk---
     
173. ##               list(content = content, uri = object@URI)
     
174. ##           })
     
175. 
     
176. 
     
177. ###################################################
     
178. ### chunk number 34: eoi eval=FALSE
     
179. ###################################################
     
180. ## setMethod("eoi",
     
181. ##           signature(object = "GmaneSource"),
     
182. ##           function(object) {
     
183. ##               length(object@Content) <= object@Position
     
184. ##           })
     
185. 
     
186. 
     
187. ###################################################
     
188. ### chunk number 35: readGmane eval=FALSE
     
189. ###################################################
     
190. ## readGmane <- FunctionGenerator(function(...) {
     
191. ##     function(elem, load, language, id) {
     
192. ##         ## ---code chunk---
     
193. ##         new("NewsgroupDocument", .Data = content, URI = elem$uri,
     
194. ##             Cached = TRUE, Author = author, DateTimeStamp = datetimestamp,
     
195. ##             Description = "", ID = id, Origin = origin, Heading = heading,
     
196. ##             Language = language, Newsgroup = newsgroup)
     
197. ##     }
     
198. ## })
     
199. 
     
200. 
     
201. ###################################################
     
202. ### chunk number 36: GmaneCorpus
     
203. ###################################################
     
204. rss <- system.file("texts", "gmane.comp.lang.r.gr.rdf", package = "tm")
     
205. Corpus(GmaneSource(rss), readerControl = list(reader = readGmane, language = "en_US", load = TRUE))
     
206. 
     
207. 
     
208. ###################################################
     
209. ### chunk number 37: readPDF eval=FALSE
     
210. ###################################################
     
211. ## readPDF <- FunctionGenerator(function(...) {
     
212. ##   function(elem, load, language, id) {
     
213. ##     ## get metadata
     
214. ##     meta <- system(paste("pdfinfo", as.character(elem$uri[2])),
     
215. ##                    intern = TRUE)
     
216. ##
     
217. ##     ## extract and store main information, e.g.:
     
218. ##     heading <- gsub("Title:[[:space:]]*", "",
     
219. ##                     grep("Title:", meta, value = TRUE))
     
220. ##
     
221. ##     ## [... similar for other metadata ...]
     
222. ##
     
223. ##     ## extract text from PDF using the external pdftotext utility:
     
224. ##     corpus <- paste(system(paste("pdftotext", as.character(elem$uri[2]), "-"),
     
225. ##                            intern = TRUE),
     
226. ##                     sep = "\n", collapse = "")
     
227. ##
     
228. ##     ## create new text document object:
     
229. ##     new("PlainTextDocument", .Data = corpus, URI = elem$uri, Cached = TRUE,
     
230. ##         Author = author, DateTimeStamp = datetimestamp,
     
231. ##         Description = description, ID = id, Origin = origin,
     
232. ##         Heading = heading, Language = language)
     
233. ##     }
     
234. ## })
     
235. 
     
236. 
     
237. ###################################################
     
238. ### chunk number 38: TransformExtension eval=FALSE
     
239. ###################################################
     
240. ## setGeneric("myTransform", function(object, ...) standardGeneric("myTransform"))
     
241. ## setMethod("myTransform",
     
242. ##           signature(object = "PlainTextDocument"),
     
243. ##           function(object, ..., DMetaData) {
     
244. ##               Content(object) <- doSomeThing(object, DMetaData)
     
245. ##               return(object)
     
246. ##           })
     
247. 
     
248. 
     
249. ###################################################
     
250. ### chunk number 39: Reuters
     
251. ###################################################
     
252. reut21578XMLgz <- system.file("texts", "reut21578.xml.gz", package = "tm")
     
253. (Reuters <- Corpus(ReutersSource(gzfile(reut21578XMLgz)),
     
254.                        readerControl = list(reader = readReut21578XML,
     
255.                                             language = "en_US",
     
256.                                             load = TRUE)))
     
257. 
     
258. 
     
259. ###################################################
     
260. ### chunk number 40:
     
261. ###################################################
     
262. tmMap(Reuters, asPlain)

复制代码

1. ###################################################
   
2. ### chunk number 41:  eval=FALSE
   
3. ###################################################
   
4. ## tmFilter(crude, "Topics == 'crude'")
   
5. 
   
6. 
   
7. ###################################################
   
8. ### chunk number 42: AcqCrude
   
9. ###################################################
   
10. data("acq")
    
11. data("crude")
    
12. 
    
13. 
    
14. ###################################################
    
15. ### chunk number 43:  eval=FALSE
    
16. ###################################################
    
17. ## acq[[10]]
    
18. 
    
19. 
    
20. ###################################################
    
21. ### chunk number 44:
    
22. ###################################################
    
23. strwrap(acq[[10]])
    
24. 
    
25. 
    
26. ###################################################
    
27. ### chunk number 45:  eval=FALSE
    
28. ###################################################
    
29. ## stemDoc(acq[[10]])
    
30. 
    
31. 
    
32. ###################################################
    
33. ### chunk number 46:
    
34. ###################################################
    
35. strwrap(stemDoc(acq[[10]]))
    
36. 
    
37. 
    
38. ###################################################
    
39. ### chunk number 47:
    
40. ###################################################
    
41. tmMap(acq, stemDoc)
    
42. 
    
43. 
    
44. ###################################################
    
45. ### chunk number 48:  eval=FALSE
    
46. ###################################################
    
47. ## stripWhitespace(acq[[10]])
    
48. 
    
49. 
    
50. ###################################################
    
51. ### chunk number 49:
    
52. ###################################################
    
53. strwrap(stripWhitespace(acq[[10]]))
    
54. 
    
55. 
    
56. ###################################################
    
57. ### chunk number 50:  eval=FALSE
    
58. ###################################################
    
59. ## tmTolower(acq[[10]])
    
60. 
    
61. 
    
62. ###################################################
    
63. ### chunk number 51:
    
64. ###################################################
    
65. strwrap(tmTolower(acq[[10]]))
    
66. 
    
67. 
    
68. ###################################################
    
69. ### chunk number 52: stopwords
    
70. ###################################################
    
71. mystopwords <- c("and", "for", "in", "is", "it", "not", "the", "to")
    
72. 
    
73. 
    
74. ###################################################
    
75. ### chunk number 53:  eval=FALSE
    
76. ###################################################
    
77. ## removeWords(acq[[10]], mystopwords)
    
78. 
    
79. 
    
80. ###################################################
    
81. ### chunk number 54:
    
82. ###################################################
    
83. strwrap(removeWords(acq[[10]], mystopwords))
    
84. 
    
85. 
    
86. ###################################################
    
87. ### chunk number 55:  eval=FALSE
    
88. ###################################################
    
89. ## tmMap(acq, removeWords, mystopwords)
    
90. 
    
91. 
    
92. ###################################################
    
93. ### chunk number 56:  eval=FALSE
    
94. ###################################################
    
95. ## stopwords(language = ...)
    
96. 
    
97. 
    
98. ###################################################
    
99. ### chunk number 57:
    
100. ###################################################
     
101. library("wordnet")
     
102. 
     
103. 
     
104. ###################################################
     
105. ### chunk number 58:
     
106. ###################################################
     
107. synonyms("company")
     
108. 
     
109. 
     
110. ###################################################
     
111. ### chunk number 59:  eval=FALSE
     
112. ###################################################
     
113. ## replaceWords(acq[[10]], synonyms(dict, "company"), by = "company")
     
114. 
     
115. 
     
116. ###################################################
     
117. ### chunk number 60:  eval=FALSE
     
118. ###################################################
     
119. ## tmMap(acq, replaceWords, synonyms(dict, "company"), by = "company")
     
120. 
     
121. 
     
122. ###################################################
     
123. ### chunk number 61:  eval=FALSE
     
124. ###################################################
     
125. ## library("openNLP")
     
126. ## tagPOS(acq[[10]])
     
127. 
     
128. 
     
129. ###################################################
     
130. ### chunk number 62:
     
131. ###################################################
     
132. library("openNLP")
     
133. strwrap(tagPOS(acq[[10]]))
     
134. 
     
135. 
     
136. ###################################################
     
137. ### chunk number 63:
     
138. ###################################################
     
139. # Creates the term-document matrix for our crude data set
     
140. crudeTDM <- TermDocMatrix(crude, control = list(stopwords = TRUE))
     
141. 
     
142. 
     
143. ###################################################
     
144. ### chunk number 64:
     
145. ###################################################
     
146. # Terms with more than 10 occurrences
     
147. (crudeTDMHighFreq <- findFreqTerms(crudeTDM, 10, Inf))
     
148. 
     
149. 
     
150. ###################################################
     
151. ### chunk number 65:
     
152. ###################################################
     
153. # Frequencies for high frequency terms
     
154. Data(crudeTDM)[1:10,crudeTDMHighFreq]
     
155. 
     
156. 
     
157. ###################################################
     
158. ### chunk number 66:
     
159. ###################################################
     
160. findAssocs(crudeTDM, "oil", 0.85)
     
161. 
     
162. 
     
163. ###################################################
     
164. ### chunk number 67:
     
165. ###################################################
     
166. plot(crudeTDM, corThreshold = 0.5, terms = findFreqTerms(crudeTDM, 6, Inf))
     
167. 
     
168. 
     
169. ###################################################
     
170. ### chunk number 68:
     
171. ###################################################
     
172. ws <- c(acq, crude)
     
173. summary(ws)
     
174. 
     
175. 
     
176. ###################################################
     
177. ### chunk number 69: dissimilarityTermDocMatrix eval=FALSE
     
178. ###################################################
     
179. ## dissimilarity(crudeTDM, method = "cosine")
     
180. 
     
181. 
     
182. ###################################################
     
183. ### chunk number 70: dissimilarityTwoDocs
     
184. ###################################################
     
185. dissimilarity(crude[[1]], crude[[2]], "cosine")
     
186. 
     
187. 
     
188. ###################################################
     
189. ### chunk number 71: wsTermDocMatrix
     
190. ###################################################
     
191. wsTDM <- Data(TermDocMatrix(ws))
     
192. 
     
193. 
     
194. ###################################################
     
195. ### chunk number 72:
     
196. ###################################################
     
197. wsHClust <- hclust(dist(wsTDM), method = "ward")
     
198. 
     
199. 
     
200. ###################################################
     
201. ### chunk number 73:
     
202. ###################################################
     
203. plot(wsHClust, labels = c(rep("acq",50), rep("crude",20)))
     
204. 
     
205. 
     
206. ###################################################
     
207. ### chunk number 74: kmeans
     
208. ###################################################
     
209. wsKMeans <- kmeans(wsTDM, 2)
     
210. 
     
211. 
     
212. ###################################################
     
213. ### chunk number 75:
     
214. ###################################################
     
215. wsReutersCluster <- c(rep("acq",50), rep("crude",20))
     
216. 
     
217. 
     
218. ###################################################
     
219. ### chunk number 76:
     
220. ###################################################
     
221. cl_agreement(wsKMeans, as.cl_partition(wsReutersCluster), "diag")
     
222. 
     
223. 
     
224. ###################################################
     
225. ### chunk number 77:
     
226. ###################################################
     
227. library("class")
     
228. library("kernlab")
     
229. data(spam)
     
230. 
     
231. 
     
232. ###################################################
     
233. ### chunk number 78:
     
234. ###################################################
     
235. train <- rbind(spam[1:1360, ], spam[1814:3905, ])
     
236. 
     
237. 
     
238. ###################################################
     
239. ### chunk number 79:
     
240. ###################################################
     
241. trainCl <- train[,"type"]
     
242. 
     
243. 
     
244. ###################################################
     
245. ### chunk number 80:
     
246. ###################################################
     
247. test <- rbind(spam[1361:1813, ], spam[3906:4601, ])
     
248. 
     
249. 
     
250. ###################################################
     
251. ### chunk number 81:
     
252. ###################################################
     
253. trueCl <- test[,"type"]
     
254. 
     
255. 
     
256. ###################################################
     
257. ### chunk number 82: knn
     
258. ###################################################
     
259. knnCl <- knn(train[,-58], test[,-58], trainCl)
     
260. 
     
261. 
     
262. ###################################################
     
263. ### chunk number 83:
     
264. ###################################################
     
265. (nnTable <- table("1-NN" = knnCl, "Reuters" = trueCl))
     
266. 
     
267. 
     
268. ###################################################
     
269. ### chunk number 84:
     
270. ###################################################
     
271. sum(diag(nnTable))/nrow(test)
     
272. 
     
273. 
     
274. ###################################################
     
275. ### chunk number 85: ksvm
     
276. ###################################################
     
277. ksvmTrain <- ksvm(type ~ ., data = train)
     
278. 
     
279. 
     
280. ###################################################
     
281. ### chunk number 86:
     
282. ###################################################
     
283. svmCl <- predict(ksvmTrain, test[,-58])
     
284. 
     
285. 
     
286. ###################################################
     
287. ### chunk number 87:
     
288. ###################################################
     
289. (svmTable <- table("SVM" = svmCl, "Reuters" = trueCl))
     
290. 
     
291. 
     
292. ###################################################
     
293. ### chunk number 88:
     
294. ###################################################
     
295. sum(diag(svmTable))/nrow(test)
     
296. 
     
297. 
     
298. ###################################################
     
299. ### chunk number 89:
     
300. ###################################################
     
301. # Instantiate both string kernels
     
302. stringkern <- stringdot(type = "string")
     
303. 
     
304. 
     
305. ###################################################
     
306. ### chunk number 90:  eval=FALSE
     
307. ###################################################
     
308. ## # Perform spectral clustering with string kernels
     
309. ## stringCl <- specc(ws, 2, kernel = stringkern)
     
310. 
     
311. 
     
312. ###################################################
     
313. ### chunk number 91: specc
     
314. ###################################################
     
315. set.seed(1234)
     
316. stringkern
     
317. stringCl <- as.vector(specc(ws, 2, kernel = stringkern))
     
318. 
     
319. 
     
320. ###################################################
     
321. ### chunk number 92:
     
322. ###################################################
     
323. table("String Kernel" = stringCl, "Reuters" = wsReutersCluster)
     
324. 
     
325. 
     
326. ###################################################
     
327. ### chunk number 93:  eval=FALSE
     
328. ###################################################
     
329. ## convertMboxEml("2006.txt", "2006/")
     
330. 
     
331. 
     
332. ###################################################
     
333. ### chunk number 94: Rdevel eval=FALSE
     
334. ###################################################
     
335. ## rdevel <- Corpus(DirSource("2006/"),
     
336. ##                      readerControl = list(reader = readNewsgroup,
     
337. ##                                           language = "en_US",
     
338. ##                                           load = TRUE))
     
339. 
     
340. 
     
341. ###################################################
     
342. ### chunk number 95:  eval=FALSE
     
343. ###################################################
     
344. ## rdevel <- tmMap(rdevel, asPlain)
     
345. 
     
346. 
     
347. ###################################################
     
348. ### chunk number 96:  eval=FALSE
     
349. ###################################################
     
350. ## rdevel <- tmMap(rdevel, stripWhitespace)
     
351. ## rdevel <- tmMap(rdevel, tmTolower)
     
352. 
     
353. 
     
354. ###################################################
     
355. ### chunk number 97:  eval=FALSE
     
356. ###################################################
     
357. ## summary(rdevel)
     
358. 
     
359. 
     
360. ###################################################
     
361. ### chunk number 98:  eval=FALSE
     
362. ###################################################
     
363. ## tdm <- TermDocMatrix(rdevel, list(stemming = TRUE, stopwords = TRUE))
     
364. 
     
365. 
     
366. ###################################################
     
367. ### chunk number 99:  eval=FALSE
     
368. ###################################################
     
369. ## authors <- lapply(rdevel, Author)
     
370. ## authors <- sapply(authors, paste, collapse = " ")
     
371. 
     
372. 
     
373. ###################################################
     
374. ### chunk number 100:  eval=FALSE
     
375. ###################################################
     
376. ## sort(table(authors), decreasing = TRUE)[1:3]

复制代码

1. ###################################################
   
2. ### chunk number 101:  eval=FALSE
   
3. ###################################################
   
4. ## headings <- lapply(rdevel, Heading)
   
5. ## headings <- sapply(headings, paste, collapse = " ")
   
6. 
   
7. 
   
8. ###################################################
   
9. ### chunk number 102:  eval=FALSE
   
10. ###################################################
    
11. ## (bigTopicsTable <- sort(table(headings), decreasing = TRUE)[1:3])
    
12. ## bigTopics <- names(bigTopicsTable)
    
13. 
    
14. 
    
15. ###################################################
    
16. ### chunk number 103:  eval=FALSE
    
17. ###################################################
    
18. ## topicCol <- rdevel[headings == bigTopics[1]]
    
19. ## unique(sapply(topicCol, Author))
    
20. 
    
21. 
    
22. ###################################################
    
23. ### chunk number 104:  eval=FALSE
    
24. ###################################################
    
25. ## topicCol <- rdevel[headings == bigTopics[2]]
    
26. ## unique(sapply(topicCol, Author))
    
27. 
    
28. 
    
29. ###################################################
    
30. ### chunk number 105: bugCol eval=FALSE
    
31. ###################################################
    
32. ## (bugCol <- tmFilter(rdevel,
    
33. ##                     FUN = searchFullText, "[^[:alpha:]]+bug[^[:alpha:]]+",
    
34. ##                     doclevel = TRUE))
    
35. 
    
36. 
    
37. ###################################################
    
38. ### chunk number 106:  eval=FALSE
    
39. ###################################################
    
40. ## bugColAuthors <- lapply(bugCol, Author)
    
41. ## bugColAuthors <- sapply(bugColAuthors, paste, collapse = " ")
    
42. ## sort(table(bugColAuthors), decreasing = TRUE)[1:3]
    
43. 
    
44. 
    
45. ###################################################
    
46. ### chunk number 107: findFreqTermsTDM eval=FALSE
    
47. ###################################################
    
48. ## f <- findFreqTerms(tdm, 30, 31)
    
49. ## sort(f[-grep("[0-9]", f)])
    
50. 
    
51. 
    
52. ###################################################
    
53. ### chunk number 108: removeCitationSignature
    
54. ###################################################
    
55. setGeneric("removeCitationSignature",
    
56.            function(object, ...) standardGeneric("removeCitationSignature"))
    
57. setMethod("removeCitationSignature",
    
58.           signature(object = "PlainTextDocument"),
    
59.           function(object, ...) {
    
60.               c <- Content(object)
    
61. 
    
62.               ## Remove citations starting with '>'
    
63.               citations <- grep("^[[:blank:]]*>.*", c)
    
64.               if (length(citations) > 0)
    
65.                   c <- c[-citations]
    
66. 
    
67.               ## Remove signatures starting with '-- '
    
68.               signatureStart <- grep("^-- $", c)
    
69.               if (length(signatureStart) > 0)
    
70.                   c <- c[-(signatureStart:length(c))]
    
71. 
    
72.               Content(object) <- c
    
73.               return(object)
    
74.           })
    
75. 
    
76. 
    
77. ###################################################
    
78. ### chunk number 109:  eval=FALSE
    
79. ###################################################
    
80. ## rdevelInc <- tmMap(rdevel, removeCitationSignature)
    
81. 
    
82. 
    
83. ###################################################
    
84. ### chunk number 110:  eval=FALSE
    
85. ###################################################
    
86. ## tdmInc <- TermDocMatrix(rdevelInc, list(stemming = TRUE, stopwords = TRUE))
    
87. 
    
88. 
    
89. ###################################################
    
90. ### chunk number 111: findFreqTermsTDMInc eval=FALSE
    
91. ###################################################
    
92. ## f <- findFreqTerms(tdmInc, 30, 31)
    
93. ## sort(f[-grep("[0-9]", f)])
    
94. 
    
95. 
    
96. ###################################################
    
97. ### chunk number 112: subjectCounts eval=FALSE
    
98. ###################################################
    
99. ## subjectCounts <- 0
    
100. ## for (r in rdevelInc) {
     
101. ##     ## Get single characters from subject
     
102. ##     h <- unlist(strsplit(Heading(r), " "))
     
103. ##
     
104. ##     ## Count unique matches of subject strings within document
     
105. ##     len <- length(unique(unlist(lapply(h, grep, r, fixed = TRUE))))
     
106. ##
     
107. ##     ## Update counter
     
108. ##     subjectCounts <- c(subjectCounts, len)
     
109. ## }
     
110. ## summary(subjectCounts)

复制代码

高大上

弱弱的问一声，在什么地方下载啊？