R抓取多页的团购数据

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

这是自己修改的抓取多页的团购信息程序，使用R语言完成的。
欢迎大家讨论。

本帖隐藏的内容

1. ########################################################
   
2. # Contents:
   
3. # 1. 读取链接
   
4. # 2. 构造报头
   
5. # 3. 读取网页资源
   
6. # 4. 获取美食的页面内容
   
7. # 5. 构建一个urllist
   
8. # 6. 循环读取url,并解析页面内容
   
9. # 7. 输出结果到文件
   
10. #########################################################
    
11. 
    
12. # 0. 初始化
    
13. setwd('E:/R/RCode/RCurl')
    
14. rm(list=ls())
    
15. 
    
16. # 1. 读取链接
    
17. library(RCurl)
    
18. url <- "http://hefei.lashou.com/cate/meishi"
    
19. url.exists(url)
    
20. 
    
21. # 2. 构造报头
    
22. myheader <- c("User-Agent"="Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) ",
    
23.               "Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    
24.               "Accept-Language"="en-us",
    
25.               "Connection"="keep-alive",
    
26.               "Accept-Charset"="GB2312,utf-8;q=0.7,*;q=0.7")
    
27. 
    
28. # 3. 读取网页资源
    
29. temp <- getURL(url,httpheader=myheader,encoding="UTF-8")
    
30. 
    
31. # 4. 获取美食的页面内容,包括名称、内容、团购价、原价
    
32. library(XML)
    
33. pageContent <-  function(page){
    
34.   doc <- htmlParse(page)
    
35.   meishi_name <- sapply(getNodeSet(doc, '//div[@class="goods "]//a[@class="goods-name"]//text()'), xmlValue)
    
36.   meishi_text <- sapply(getNodeSet(doc, '//div[@class="goods "]//a[@class="goods-text"]//text()'), xmlValue)
    
37.   Count_price <- sapply(getNodeSet(doc, '//div[@class="goods "]//span[@class="price"]'), xmlValue)
    
38.   org_price <- sapply(getNodeSet(doc, '//div[@class="goods "]//span[@class="money"]//del//text()'), xmlValue)
    
39.   
    
40.   result <- data.frame(meishi_name, meishi_text, Count_price, org_price)
    
41. }
    
42. 
    
43. # 5. 构建一个urllist(读取翻页数据)
    
44. urllist <- ""
    
45. page_num <- 1:20
    
46. urllist[page_num] <- paste("http://hefei.lashou.com/cate/meishi/page",page_num,sep="")
    
47. 
    
48. # 6. 循环读取url,并解析页面内容
    
49. Page_Results <- NULL
    
50. for(url in urllist){
    
51.    page_url <- getURL(url, httpheader=myheader, encoding="utf-8")
    
52.    Page_Results <- pageContent(page_url)
    
53.    Sys.sleep(2)
    
54. }
    
55. 
    
56. # 7. 输出结果到文件
    
57. write.table(Page_Results,"meishi.txt")

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：contents Content Library Rcurl Rcode 团购 团购信息 抓取

look at.

看看，很好的资料的

这样学习下

shenzhenjx 发表于 2015-3-4 12:24
这是自己修改的抓取多页的团购信息程序，使用R语言完成的。
欢迎大家讨论。

欢迎楼主多发此类好帖，这些分享！

学习一下

你好！现在我复制你的代码，去运行，没有数据出来的？求指导，我是菜鸟！