rvest抓取淘宝商品信息

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1. Url<-"http://illuma.tmall.com/search.htm?spm=a1z10.4-b.w5001-7280993071.13.LhLkZK&scene=taobao_shop"
   
2. html_session(Url)
   
3. Web<-html(Url,encoding="GBK")
   
4. #Customer Review
   
5. #这是评论数
   
6. CR<-Web%>%
   
7. html("h4 a span")%>%
   
8. html_text()%>%
   
9. iconv("utf-8","gbk")

复制代码

正常情况下，这样应该就可以获取了，但是在最后输出结果显示为
character(0)

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：Vest 淘宝商品 VES Est Character 淘宝商品 信息

等待答案。。。。。。。

offandon 发表于 2015-5-31 00:19
等待答案。。。。。。。

别等了，似乎是淘宝的保护性问题；
1. 在某些时间段执行代码是可以得到正确答案的，有时候不可以
2. 在可以得到正确结果的时候，即便使用%>%html(encoding="GBK")，最后采用iconv(...)也可以得到非乱码的中文

我在尝试用RCurl 采用getUrl来得到完整的html信息

请教，最近想通通过r语言来抓取一个网站的数据，该怎么实现，网址是http://www.jisilu.cn/data/sfnew/#tlink_0，求指点一二

应该是淘宝使用ajax动态读取数据了；

正在尝试使用RCurl；

chenjiechao 发表于 2015-6-2 01:13
请教，最近想通通过r语言来抓取一个网站的数据，该怎么实现，网址是http://www.jisilu.cn/data/sfnew/#tlin ...

首先加载XML包，然后输入代码
>url<-"http://www.jisilu.cn/data/sfnew/#tlin "
>-url.html<-htmlParse(url,encoding="UTF-8")
就可以得到html信息，如果想抓取部分信息可以再用getNodeSet函数。

1. library(xml2)
   
2. library(rvest)
   
3. library(dplyr)
   
4. 
   
5. 
   
6. Url <- "https://list.tmall.com/search_product.htm?spm=a220m.1000858.1000724.9.jNt2XM&cat=50892008&brand=30652&q=%C3%C0%B5%C4&sort=s&style=l&from=sn_1_cat-qp&industryCatId=50892008&tmhkmain=0#J_Filter"
   
7. html_session(Url)
   
8. 
   
9. Web <- read_html(Url,encoding="GBK")
   
10. 型号 <- Web%>%
    
11.   html_nodes("h4.proInfo-title a")%>%
    
12.   html_text()%>%
    
13.   iconv("utf-8","gbk")
    
14. 
    
15. 售价 <- Web%>%
    
16.   html_nodes("em.proSell-price")%>%
    
17.   html_text()%>%
    
18.   iconv("utf-8","gbk")
    
19. 
    
20. 月成交量 <- Web%>%
    
21.   html_nodes("p.productStatus em")%>%
    
22.   html_text()%>%
    
23.   iconv("utf-8","gbk")
    
24. 
    
25. 评价量 <- Web%>%
    
26.   html_nodes("p.productStatus a")%>%
    
27.   html_text()%>%
    
28.   iconv("utf-8","gbk")
    
29. 
    
30. 店名 <- Web%>%
    
31.   html_nodes("a.productShop-name")%>%
    
32.   html_text()%>%
    
33.   iconv("utf-8","gbk")
    
34. 
    
35. tianmao <- data.frame(型号,售价,月成交量,评价量,店名,stringsAsFactors = FALSE)

复制代码