求教大神指导R爬虫的问题：subcript out of bounds

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1. library(rvest)
   
2. key = 3560
   
3. words <- read_html("http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=3560",encoding = 'gbk')
   
4. pop <- html_table(html_nodes(words,"table"),fill = TRUE)[[1]]
   
5. res <- pop
   
6. 
   
7. #for(i in 1:9){
   
8. 
   
9. for(i in 1: 12){
   
10.   key <- key - 19
    
11.   url = paste('http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=',key-19,sep="")
    
12.   readurl <- read_html(url,edcoding = 'gbk' )
    
13.   
    
14.   popsug <- html_table(html_nodes(readurl,"table"),fill = TRUE)[[1]]
    
15.   
    
16.   res <- rbind(res,popsug)
    
17. }

复制代码

用R写了一个简单的网页表格爬虫，问题主要出在循环那里。
for ( i in 1:9 )则不会报错

如果 for ( i in 1: x) x >= 10
则报错如下
Error in html_table(html_nodes(readurl, "table"), fill = TRUE)[[1]] :   subscript out of bounds

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

使用str()函数看看有多少readurl ，不确定是否管用

问题已经解决：
原因：刷新过快导致网页拒绝访问，每次循环时休眠一秒即可。
办法比较笨，但是解决问题了还是很开心的。
欢迎大牛提出更有效率的解决方法，么么哒！

1. library(rvest)
   
2. library(XML)
   
3. key = 3560
   
4. words <- read_html("http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=3560",encoding = 'gbk')
   
5. pop <- html_table(html_nodes(words,"table"),fill = TRUE)[[1]]
   
6. #url1 <- "http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=3560"
   
7. #pop <- readHTMLTable(readLines(url1,encoding = 'gb1213'),which = 1,header = FALSE)
   
8. res <- pop
   
9. 
   
10. 
    
11. for(i in 1: 20){
    
12.   key <- key - 19
    
13.   url = paste('http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=',key-19,sep="")
    
14.   #popsug <- readHTMLTable(readLines(url,encoding = 'gb1213'),which = 1,header = FALSE)
    
15.   readurl <- read_html(url,edcoding = 'gbk' )
    
16.   popsug <-html_table(html_nodes(readurl,"table"),fill = TRUE) [[1]]
    
17.   res <- rbind(res,popsug)
    
18.   Sys.sleep(1)
    
19. }

复制代码

1. library(rvest)
   
2. library(XML)
   
3. key = 3560
   
4. words <- read_html("http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=3560",encoding = 'gbk')
   
5. pop <- html_table(html_nodes(words,"table"),fill = TRUE)[[1]]
   
6. #url1 <- "http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=3560"
   
7. #pop <- readHTMLTable(readLines(url1,encoding = 'gb1213'),which = 1,header = FALSE)
   
8. res <- pop
   
9. 
   
10. 
    
11. for(i in 1: 20){
    
12.   key <- key - 19
    
13.   url = paste('http://bbs.nju.edu.cn/bbstdoc?board=V_Suggestions&start=',key-19,sep="")
    
14.   #popsug <- readHTMLTable(readLines(url,encoding = 'gb1213'),which = 1,header = FALSE)
    
15.   readurl <- read_html(url,edcoding = 'gbk' )
    
16.   popsug <-html_table(html_nodes(readurl,"table"),fill = TRUE) [[1]]
    
17.   res <- rbind(res,popsug)
    
18.   Sys.sleep(1)
    
19. }

复制代码

每次循环后休眠即可