R语言爬虫翻页爬取数据失败

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

新手一枚，打算练习爬取动态网页，写的命令能够成功翻页，但是爬出来的结果却只有第一页的内容，非常懊恼，请大神们赐教~

1. #install.packages("D:/software/R/library/Rwebdriver-master",repos=NULL,type="source")
   
2. #在cmd中D:\D盘存软件\firefox
   
3. #java -jar selenium-server-standalone-3.141.59.jar
   
4. library(RCurl)# 抓取数据
   
5. library(XML)# 解析网页
   
6. library(stringr)# 字符串处理
   
7. library(dplyr)# 调用%>%管道
   
8. library(Rwebdriver)# 爬取动态网页
   
9. library(devtools)
   
10. start_session(root = 'http://localhost:4444/wd/hub/',browser ="firefox")# 默认端口是4444，我的浏览器是chorme，如果使用火狐改成firefox
    
11. list_url <-  "https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90"
    
12. post.url(url = list_url)# 打开网页
    
13. pageSource <- page_source()#保存网页信息
    
14. 
    
15. 
    
16. list_web <- htmlParse(pageSource,encoding = "UTF-8")
    
17. namelist = list() ##创建存贮的变量
    
18. 
    
19. #循环下载10页数据
    
20. for (i in 1:10){
    
21. title <-  list_web %>% getNodeSet("//h3")%>%sapply(xmlValue) #用的是xpath代码
    
22. area <-  list_web%>% getNodeSet("//*[(@id = 's_position_list')]//em")%>%sapply(xmlValue)
    
23. namelist[[i]] = cbind(title,area)#结果的保存
    
24. button <- element_xpath_find(value = "//*[@id='order']/li/div[4]/div[2]")# 获取下一页按钮位置
    
25. element_click(ID=button) #点击下一页
    
26. print(paste("第",i,"页数据爬取完成",sep=""))
    
27. Sys.sleep(5)#睡眠5秒
    
28. }
    
29. result_data = noquote(do.call(rbind,namelist))
    
30. result_data = data.frame(岗位=result_data[,1],地址=result_data[,2])
    
31. result_data

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：R语言 localhost Packages software Library

你的代码是在循环之前读取网页，所以循环中处理的都是第一页的数据

循环中翻页后，还需要重新解析网页内容，正则的对象才是新页的数据

llb_321 发表于 2020-5-23 09:53
循环中翻页后，还需要重新解析网页内容，正则的对象才是新页的数据

感谢回答，但是我有点不太理解，我的想法是1到10页的内容，打开就是第一页了，第一步找到标题、地区的内容爬取下来保存，第二步翻页，翻页成功后再重复第一第二步，我的循环怎么写才是对的呢？能否再具体一点解答，新手刚入门，这是自己写的命令，搜了很多资料没解决问题