[已解决!!!]R抓取深交所数据时的乱码问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

此问题已经解决！
R抓取深交所的信息披露考评数据的时候，网页编码是GBK的时候，解析正常；当页面的编码是GB2312时，比如2008年的主板数据，解析后的数据往往是乱码的，请问乱码问题有好的解决方法吗？
以下是相应代码，对于编码是GB2312的页面，将“GBK”换成“GB2312”，无用。

另附2001年-2015年的（主板）信息考评数据。
main.rar (19.04 KB, 需要: 1 个论坛币) 本附件包括：

• main.csv

2016-7-1 21:08:28 上传

深交所主板信息考评数据2001-2015
需要: 1 个论坛币  [购买]

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏6 回帖

关键词：深交所 已解决 信息披露考评 已经解决 解决方法 信息

ryoeng 发表于 2016-6-25 12:02
独乐乐不如众乐乐，何不分享解决方案呢？

请多指教！

1. # RStudio 编码UTF-8
   
2. # 抓取深交所信息披露考评数据（主板）
   
3. library(XML)
   
4. library(RCurl)
   
5. 
   
6. # 主板
   
7. main <- data.frame()
   
8. # 第1页，获取总页数
   
9. url <- "http://www.szse.cn/main/disclosure/jgxxgk/xxplkp/"
   
10. result <- getURI(url, .encoding = "GBK")
    
11. pageNum <- regmatches(result, regexpr("共[0-9]+页", result)) # 共xxx页
    
12. pageNum <- as.integer(substr(pageNum, 2, nchar(pageNum) - 1))
    
13. cat("总页数:", pageNum, "\n")
    
14. # 抓取数据
    
15. for(page in 1:pageNum){ # 获取全部数据
    
16.         cat(page, "\n")
    
17.         url <- paste("http://www.szse.cn/szseWeb/FrontController.szse?randnum=0.800747026658066&ACTIONID=7&AJAX=AJAX-TRUE&CATALOGID=1759_plkp&TABKEY=tab1&tab1PAGENUM=",
    
18.                      page,
    
19.                      "&tab1PAGECOUNT=",
    
20.                      pageNum,
    
21.                      "&tab1RECORDCOUNT=6890&REPORT_ACTION=navigate",
    
22.                      sep = "")
    
23.         result <- getURI(url, .encoding = "GBK")
    
24.         result <- iconv(result, "GBK", "UTF-8") # 编码转换！！！
    
25.         record <- ParseHTMLToTable(result)
    
26.         main <- rbind(main, record)
    
27. }
    
28. # 写入文件
    
29. write.csv(main, file = "./data/main.csv", quote = F, row.names = F)
    
30. 
    
31. 
    
32. # 解析HTML
    
33. ParseHTMLToTable <- function(result){
    
34.         # 转为html页面
    
35.         html <- htmlParse(result, asText = T, encoding="UTF-8")
    
36.         # 提取table
    
37.         url.list <- xpathSApply(html, "//td[@class='cls-data-td']", xmlValue)
    
38.         # 4个为1条记录
    
39.         group <- length(url.list) / 4
    
40.         # 如果不是4的倍数，则抓取或解析有误
    
41.         if(floor(group) - group < 0){
    
42.                 stop("[ParseHTMLToTable]记录非整数！\n")
    
43.         }
    
44.         # 构建数据框
    
45.         temp <- data.frame(Stkcd = character(group), # 公司代码
    
46.                            Name = character(group),  # 公司简称
    
47.                            Grade = character(group), # 考评结果
    
48.                            Year = character(group),  # 考评年度
    
49.                            stringsAsFactors = F)
    
50.         for(i in 1:group){
    
51.                 for(j in 1:4){
    
52.                         temp[i, j] <- iconv(url.list[(i - 1) * 4 + j], "UTF-8", "GBK")
    
53.                 }
    
54.         }
    
55.         return(temp)
    
56. }

复制代码