R与抓取豆瓣电影2000-2015年数据

感谢楼主的分享，有个地方没看明白哦“http://www.**.com/tag/2000/movie?start=”
这个网址啥意思？

trans 发表于 2015-6-17 20:57
感谢楼主的分享，有个地方没看明白哦“http://www.**.com/tag/2000/movie?start=”
这个网址啥意思？

你把它放到浏览器里就会明白了，他是你要抓取的页面啊

sssyunsheng 发表于 2015-6-17 21:01
你把它放到浏览器里就会明白了，他是你要抓取的页面啊

显示的是域名错误哈。。

好吧，豆瓣几个拼音被屏了，你拼一下就好了

trans 发表于 2015-6-17 21:10
显示的是域名错误哈。。

好吧，豆瓣几个拼音被屏了，你拼一下就好了

sssyunsheng 发表于 2015-6-17 21:14
好吧，豆瓣几个拼音被屏了，你拼一下就好了

我运行了，貌似跑不了噢
> library(XML)
> library(plyr)
> for(i in 1:100){
+ url1<-paste('http://www.**.com/tag/2010/movie?start=',15*i,sep="") #记得修改年份
+ web1 <- readLines(url1,encoding="UTF-8")
+ web<-c(web,web1)
+ }
Error: object 'web' not found

本人初学者，还望楼主不吝赐教，感谢！！

url<-'http://www.**.com/tag/2000/movie?start=0' #记得修改年份
web <- readLines(url,encoding="UTF-8")
system.time(for(i in 1:147){
  Sys.sleep(sample(15:20, 1))
  url1<-paste('http://www.**.com/tag/2000/movie?start=',15*i,sep="")#记得修改年份
  web1 <- readLines(url1,encoding="UTF-8")
  web<-c(web,web1)
  label <- i
})
**去掉换成豆瓣的拼音，以上整段跑一下，没关系，大家都是一点点学的，我上传了这个系列的整个pdf你可以参考下

sssyunsheng 发表于 2015-6-17 21:35
url

楼主热心人哈

Nicolle 发表于 2015-6-7 21:35

抓取数据

这位教授厉害

我运行了，出现下面错误提示，不知道啥原因

temp1 <- grep('class="title" target="_blank"',webtotal)
Error in grep("class=\"title\" target=\"_blank\"", webtotal) :
  object 'webtotal' not found

豆瓣改版了，去掉了评价人数行，理论不变