请问怎么用r写一个爬虫，目的是爬取京东的全部评论

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

关键是这个ajax动态加载我不理解，如果只是抓取一页的评论，是可以的，下面是我的做法。

library(RCurl)  
library(XML)  
library(plyr)  
#伪造请求报头  
myheader=c("User-Agent"="Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) ",  
           "Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",  
           "Accept-Language"="en-us",  
           "Connection"="keep-alive",  
           "Accept-Charset"="GB2312,utf-8;q=0.7,*;q=0.7"  
)


webpage = getURL('https://item.jd.com/12107414.html#comments-list',httpheader=myheader,.encoding='utf-8')  
pagetree = htmlParse(webpage,encoding='utf-8')  
comment = xpathSApply(pagetree,"//div[@class='comment-content']",xmlValue)  

comment = iconv(comment,"utf-8","LATIN1")  

comment


问题很明显，我只能得到10条评论。怎么获取全部评论，求解答（有例子更好）

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏11 回帖

关键词：Application connection Comments Language comment 京东

用python爬取，可以实现翻页

http://club.jd.com/review/12107414-1-1-0.html
具体参考
http://blog.csdn.net/xiaoquantouer/article/details/51841016

今天有时间，简单写了个爬虫，爬取京东某个商品的评论，希望对你有用。

1. library(RCurl)
   
2. getcoments <- function(i){
   
3.     productid <- '2967929'  #商品id
   
4.     t1 <- 'http://club.jd.com/comment/productPageComments.action?productId='
   
5.     t2 <- '&score=0&sortType=1&page='  #按时间顺序
   
6.     t3 <- '&pageSize=1' #设置每页1条评论
   
7.     url <-paste0(t1,productid,t2,i,t3)
   
8.     web <- getURL(url, .encoding = 'gbk')
   
9.     comments <- substr(web,regexpr("comments", web)+10,regexpr("referenceTime", web)-4)
   
10.     content <- substr(comments,regexpr("content", comments)+10,regexpr("creationTime", comments)-4)
    
11. }
    
12. 
    
13. comment <- c()
    
14. n <- 30 #爬取评论条数
    
15. for(i in 0:(n-1)){
    
16.     comment <- rbind(comment,getcoments(i))
    
17.     print(i+1)
    
18.     Sys.sleep(1)
    
19. }
    
20. write.csv(comment,'jingdongcomment.csv')

复制代码

学习。谢谢！

小朝 发表于 2017-3-18 18:56
今天有时间，简单写了个爬虫，爬取京东某个商品的评论，希望对你有用。

谢谢，我试试，另外我今天又碰到一个新的问题，希望你帮忙
http://ccpl.psych.ac.cn/textmind/
这个网站是文本分析用的，我输入一些文本，他返回给我一些信息，我要存起来。
（这个网站提供了软件下载，但是软件分析时总是会报错，即使不错结果也和网页的结果不同）
我现在有800个文本要分析（不能一块贴进去），我想能不能用程序帮我贴上去，并且抓取相应的结果存起来。谢谢（或者提示下我应该搜什么关键词才能查到这类的文章，我不会python，用r可以办到不？）

也是对文本分析感兴趣，哥们你用的什么情感词典？

小朝 发表于 2017-3-18 18:56
今天有时间，简单写了个爬虫，爬取京东某个商品的评论，希望对你有用。

谢谢楼主。想问一下评论网址代码中参数t1是怎么获取的呢

peishenfei 发表于 2017-3-21 20:48
谢谢，我试试，另外我今天又碰到一个新的问题，希望你帮忙
http://ccpl.psych.ac.cn/textmind/
这个网站 ...

用R的RSelenium包

小朝 发表于 2017-3-18 18:56
今天有时间，简单写了个爬虫，爬取京东某个商品的评论，希望对你有用。

你好，你的案例爬取京东某个商品的评论最多只能爬取100条，能不多爬取更多的评论呢？