网络数据爬虫

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

各位老师：
我想把中国保监会网站上的统计数据抓下来，但是做不了。请教哪位老师可以提供R代码，谢谢。
数据的网页是http://www.circ.gov.cn/web/site0/tab5205/info4084354.htm。
先谢谢老师。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏6 回帖

关键词：中国保监会 保监会网站 HTTP 统计数据 Site

1. library(rvest)
   
2. library(stringr)
   
3. 
   
4. url <- 'http://www.circ.gov.cn/web/site0/tab5205/info4084354.htm'
   
5. web <- read_html(url)
   
6. txt <- web%>%html_nodes('p.MsoNormal>span')%>%html_text()
   
7. 
   
8. txt=txt[txt%>%str_trim()%>%str_detect('')]
   
9. cnames=txt[2:7]
   
10. value=txt%>%str_extract_all('[^\\x00-\\xff]*')%>%unlist()
    
11. txtx=value[value%>%str_length()!=0]
    
12. valuex=txt[!(txt%in%txtx)]%>%as.numeric()%>%matrix(ncol=5, byrow =T)
    
13. 
    
14. namex1=txtx[txtx%>%str_length()==1]%>%matrix(ncol=2,byrow = T)%>%
    
15.   apply(1,function(x) x%>%str_c(collapse = '  '))
    
16. 
    
17. namex2=txtx[txtx%>%str_length()>1]
    
18. 
    
19. cnames=namex2[2:7]
    
20. colx1=c(namex2[8:9],namex1[1:18],namex2[10],namex1[19:33],namex2[11],namex1[34])
    
21. 
    
22. fina_df=data.frame(colx1,valuex)
    
23. names(fina_df)=cnames
    
24. 
    
25. DT:::datatable(fina_df)
    
26. 
    
27. 左图为抓取数据;右图为原始数据

复制代码

感谢zhou1_20老师，非常感谢老师的帮助。尘埃落定。

zhou1_20 发表于 2017-10-18 09:24

再次感谢zhou1_20老师的热心帮助

zhou1_20 发表于 2017-10-18 09:24

zhou1_20老师：冒昧地再打扰一下，还是这个数据，有一个月份的格式有些变化，我调试了好久没有成功。网址是http://www.circ.gov.cn/web/site0/tab5205/info4074076.htm。请zhou1_20老师帮我看看。谢谢。尘埃落定。

nieqiang110 发表于 2017-10-18 10:40
zhou1_20老师：冒昧地再打扰一下，还是这个数据，有一个月份的格式有些变化，我调试了好久没有成功。网址 ...

1. library(rvest)
   
2. library(stringr)
   
3. 
   
4. url <- 'http://www.circ.gov.cn/web/site0/tab5205/info4074076.htm'
   
5. web <- read_html(url)
   
6. txt <- web%>%html_nodes('table.ke-zeroborder:nth-child(2)')%>%
   
7.           html_table(header =T)
   
8. txtx <- txt[[1]]
   
9. txtxz <- txtx[-1,]
   
10. names(txtxz)=txtx[1,]
    
11. 
    
12. DT:::datatable(txtxz)

复制代码

zhou1_20 发表于 2017-10-18 13:47

太感谢zhou1_20老师了。尘埃落定

厉害厉害

厉害，真要好好地学。

# 无需如此复杂吧

##################################################################
url<-"http://www.circ.gov.cn/web/site0/tab5205/info4074076.htm"

  webda<-read_html(url)%>%
   html_nodes("table")%>%
   html_table(fill=TRUE)%>%
    .[[8]]  ###   第八个表，
### 是一个全character型的data.frame ，所需数据全中其中了，
##  用tidyvese 包 作些简单处理，即可得所需的
#########################################################################