R爬虫示例（小白练手）

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

楼主用rvest包爬取了BOSS直聘网站，关于数据分析的职位信息，权当练手，详见二楼。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏10 回帖

关键词：BOSS 数据分析 Vest VES Est 网站 信息 职位

文章内容，详见个人博客：http://www.rockyxin.com/?p=215

附件为源代码及爬取后数据

好厉害，路过顶顶

谢谢分享

支持分享

你的代码太麻烦了，感觉你应该是从python阵营转过来的。我今天也编写了一个，比你的简单些

1. library(rvest)
   
2. library(stringr)
   
3. 
   
4. site1 <- 'https://www.zhipin.com/c101280600-p100104/?page=%s&ka=page-%s'
   
5. salary=job=adr=ed=exper=demand=HR_name=
   
6.   HR_job=com_name=hangye=guimo=ziben=date=NULL
   
7. 
   
8. for(i in 1:10){
   
9.   site <- sprintf(site1,i,i)
   
10.   web <- read_html(site)
    
11.   salary <-c(salary,web%>%html_nodes('.info-primary>.name')%>%html_text()%>%
    
12.     str_extract('\\d{1,}K-\\d{1,}K'))
    
13.   job <- c(job,web%>%html_nodes('.info-primary>.name')%>%html_text()%>%
    
14.     str_replace('\\d{1,}K-\\d{1,}K','')%>%str_trim())
    
15.   tt1=web%>%html_nodes('.info-primary>p')%>%html_text()
    
16.   tt12=str_split(tt1,'\\d-\\d{1,}年|经验不限|1年以内')
    
17.   n=length(tt12)
    
18.   adr1=ed1=rep(NA,n)
    
19.   for(i in 1:n) {
    
20.     adr1[i]=tt12[[i]][1]
    
21.     ed1[i]=tt12[[i]][2]
    
22.   }
    
23.   exper1=str_extract(tt1,'\\d-\\d{1,}年|经验不限|1年以内')
    
24.   adr=c(adr,adr1);ed=c(ed,ed1);exper=c(exper,exper1)
    
25.   
    
26.   demand1=web%>%
    
27.     html_nodes('.job-list > ul:nth-child(2) > li> a:nth-child(1) >
    
28.                div> span')
    
29.   nn=which(str_length(demand1)>22)
    
30.   ndemand = length(which(str_length(demand1)>22))
    
31.   demand2= demand1[1:(nn[1]-1)]%>%html_text()%>%str_c(collapse=' ')
    
32.   for(i in 2:ndemand) demand2 = c(demand2,
    
33.                                  demand1[(nn[i-1]+1):(nn[i]-1)]%>%html_text()%>%
    
34.                                    str_c(collapse=' '))
    
35.   demand = c(demand,demand2)
    
36.   
    
37.   tt3=web%>%html_nodes('.job-author>p')
    
38.   HR_name=c(HR_name,as.character(tt3)%>%str_extract('p>[\\s\\S]*<em')%>%
    
39.               str_sub(3,-4))
    
40.   HR_job=c(HR_job,as.character(tt3)%>%str_extract('em>[\\s\\S]*<img')%>%
    
41.              str_sub(4,-5))
    
42.   
    
43.   com_name = c(com_name,web%>%html_nodes('.company-text>h3')%>%html_text()%>%
    
44.                  str_trim())
    
45.   com_ifo = web%>%html_nodes('.company-text>p')%>%as.character()%>%
    
46.     str_split('<em class=\"vline\"></em>')
    
47.   
    
48.   ncom_ifo = length(com_ifo)
    
49.   hangye1 = ziben1 = guimo1 =rep(NA,ncom_ifo)
    
50.   for(i in 1:ncom_ifo){
    
51.     hangye1[i] = com_ifo[[i]][1]%>%str_sub(4,-1)
    
52.     guimo1[i] = com_ifo[[i]][length(com_ifo[[i]])]%>%str_sub(0,-5)
    
53.     ziben1[i] = ifelse(length(com_ifo[[i]])==2,
    
54.                        NA,com_ifo[[i]][2])
    
55.   }
    
56.   hangye = c(hangye,hangye1);guimo=c(guimo,guimo1);ziben=c(ziben,ziben1)
    
57. }
    
58. 
    
59. 
    
60. data=data.frame(公司=com_name,职位=job,薪资=salary,学历=ed,经验=exper,要求=demand,
    
61.                 地点=adr,HR姓名=HR_name,HR职位=HR_job,行业=hangye,类型=ziben,
    
62.                 规模=guimo)
    
63.   
    
64. DT::datatable(data)

复制代码

zhou1_20 发表于 2017-5-20 16:55
你的代码太麻烦了，感觉你应该是从python阵营转过来的。我今天也编写了一个，比你的简单些

谢谢，小白初学R，之前没学过Python，看了你的代码，确实比我的简练很多，学习了。

想请问，第5-6行的作用是什么？

Rocky_xin 发表于 2017-5-20 22:00
谢谢，小白初学R，之前没学过Python，看了你的代码，确实比我的简练很多，学习了。

想请问，第5-6行的 ...

你的编程功底很好呀

zhou1_20 发表于 2017-5-20 23:56
你的编程功底很好呀

别讽刺我了，哪有什么功底，才刚学