网页抓取又添利器

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

RStudio 公司就是给力，即dplyr终结了plyr后，现在又推出rvest，看样子多做爱（XML）也要阳痿了。
下面用抓取豆瓣网电影数据为例，演示一下它的便捷。
library(rvest)

url = 'http://movie.douban.com/top250?format=text'
web = html(url,encoding="UTF-8")

score =  html_text(web %>% html_nodes("span") %>% html_nodes("em"))

year =  web %>% html_nodes("p")
year =  html_text(year[seq(1,50,2)])

gy = gregexpr('[0-9]{4}',year)
gd = gregexpr("导演",year)
gz = gregexpr("主演",year)

time = sapply(1:length(gy),function(i) substr(year[i],gy[[i]],gy[[i]]+attr(gy[[i]],'match.length')-1))
direct = sapply(1:length(gy),function(i) substr(year[i],gd[[i]] + 4,gz[[i]] - 4))
actor = sapply(1:length(gy),function(i) substr(year[i],gz[[i]] + 4,gy[[i]] - 4))
ga = gregexpr('\n',actor)
actor = sapply(1:length(gy),function(i) substr(actor[i],1,ga[[i]] - 1))

names =   web %>% html_nodes("img") %>% html_attr("alt")
names = iconv(names,"utf-8","gbk")

rates =  html_text(web %>% html_nodes("span"))
rates = rates[grep("人评价",rates)]
rates = gsub("人评价","",rates)


movie = data.frame(电影 = names,时间 = time,得分 = score,评价人数 = rates,导演 = direct,主演 = actor)
head(movie)
            电影 时间 得分 评价人数                               导演                                        主演
1   肖申克的救赎 1994  9.6   575452     弗兰克·德拉邦特 Frank Darabont                蒂姆·罗宾斯 Tim Robbins /...
2 这个杀手不太冷 1994  9.4   545412               吕克·贝松 Luc Besson       让·雷诺 Jean Reno / 娜塔丽·波特曼 ...
3       阿甘正传 1994  9.4   486164                    Robert Zemeckis Tom Hanks / Robin Wright Penn / Gary Sinise
4       霸王别姬 1993  9.4   390568                  陈凯歌 Kaige Chen 张国荣 Leslie Cheung / 张丰毅 Fengyi Zha...
5       美丽人生 1997  9.4   266453      罗伯托·贝尼尼 Roberto Benigni               罗伯托·贝尼尼 Roberto Beni...
6     海上钢琴师 1998  9.2   427455 朱塞佩·托纳多雷 Giuseppe Tornatore                    蒂姆·罗斯 Tim Roth / ...

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享1 收藏14 回帖

关键词：网页抓取 function Giuseppe Library RStudio function library direct 网页 主演

daishen 发表于 2014-11-26 13:54
RStudio 公司就是给力，即dplyr终结了plyr后，现在又推出rvest，看样子多做爱（XML）也要阳痿了。
下面用抓 ...

多谢分享

希望提供更多的例子。

不错, 比xml包好用~感觉比较像beautifulsoup

马甲1号 发表于 2014-11-27 12:39
不错, 比xml包好用~感觉比较像beautifulsoup

学R的好苦逼，以前的包还没有完全掌握，后面更先进的就来了。
顺便帮我看看下面的这个代码为什么三次循环都是一个结果。
library(rvest)
library(stringr)

page=1:3

Pages = function(x){
  url = paste("http://t.dianping.com/movie/shanghai/tab_deal?pageno=",x,"#nav",sep='')
  doc = url %>% html() %>% html_nodes(".J_floor_box")
  id = doc %>% html_node("h3") %>% html_text() %>% str_trim(.)
  term = doc %>% html_node("h5 em") %>% html_text()
  price = doc %>% html_node("h6 em") %>% html_text()
  buy = doc %>% html_node("span em") %>% html_text()
  data.frame(影院 = id, 团价 = term, 原价 = price, 已售 = buy)
  }

lapply(page,function(i) Pages(i))
[[1]]
                                            影院 团价 原价  已售
1        [8店通用] 上影永华·海上国际影城连锁影院   71  240 13766
2                           [3店通用] 百丽宫影城   49  150 11917
3                               [多商区] 上影CGV   45  108  6305
4                               [多商区] 上影CGV   45  108  6007
5                          [中山公园] 龙之梦影城   40  130 73942
6                          [虹口足球场] 金逸影城   40  120  3643

[[2]]
                                            影院 团价 原价  已售
1        [8店通用] 上影永华·海上国际影城连锁影院   71  240 13766
2                           [3店通用] 百丽宫影城   49  150 11917
3                               [多商区] 上影CGV   45  108  6305
4                               [多商区] 上影CGV   45  108  6007
5                          [中山公园] 龙之梦影城   40  130 73942
6                          [虹口足球场] 金逸影城   40  120  3643


[[3]]
                                            影院 团价 原价  已售
1        [8店通用] 上影永华·海上国际影城连锁影院   71  240 13766
2                           [3店通用] 百丽宫影城   49  150 11917
3                               [多商区] 上影CGV   45  108  6305
4                               [多商区] 上影CGV   45  108  6007
5                          [中山公园] 龙之梦影城   40  130 73942
6                          [虹口足球场] 金逸影城   40  120  3643

daishen 发表于 2014-11-27 15:13
学R的好苦逼，以前的包还没有完全掌握，后面更先进的就来了。
顺便帮我看看下面的这个代码为什么三次循环 ...

我这里跑出来的结果正常啊.
lapply(page,function(i) Pages(i))
[[1]]
                                            影院 团价 原价  已售
1       [8店通用] 上影永华·海上国际影城连锁影院   71  240 13874
2                           [3店通用] 百丽宫影城   49  150 12007
3                               [多商区] 上影CGV   45  108  6371
4                               [多商区] 上影CGV   45  108  6076
5                          [中山公园] 龙之梦影城   40  130 74020
6                          [长寿路] 梦想3D俱乐部  360  800     5
7                          [虹口足球场] 金逸影城   40  120  3693
8                          [陆家嘴] 星美国际影城   40   90 22584
9                    [多商区] 金逸院线新恒星影城 35.9  100 34253
10      [8店通用] 上影永华·海上国际影城连锁影院   36  120  8598
11                           [多商区] 新世纪影城   48  120  2117
12                           [多商区] 环艺电影城   43  130  2366
13                       [南方商城] 世纪友谊影城   36   90  7993
14         [人民广场] 大光明电影院（南京西路店）   80  240  3896
15                         [外高桥] 星美国际影城   29  100 16148
16                       [上南地区] 保利国际影城   45  120  4102
17                      [五角场/大学区] 17.5影院   68  200  1369
18                           [七宝] 世纪沪星影城   70  140  3117
19                [长风公园/华师大] 华谊兄弟影院   35   80  2410
20                             [浦江镇] 太禾影城   38  100  2187
21                                  世纪仙霞影城   38  120  4682
22                         [陆家嘴] 星美国际影城 99.9  215  7305
23                             [多商区] 金逸影城   22   80  2690
24                       [上南地区] 世博国际影城   45  120 17002
25             [多商区] 万裕国际影城（天山路店）   67  200    19
26                  [海宁路/七浦路] 星美国际影城 33.9  120  6912
27                       [大华地区] 大地数字影院   29   50  1641
28                       [大华地区] 大地数字影院   70  140   213
29             [上海大学] 大地数字影院（弘基店）   29   50  2017
30                   [张江] 金逸影城(上海张江店)   30   90  2018
31                     [梅川路] 耀莱成龙国际影城   25   90  1534
32                      [漕河泾/田林] 庆春电影院   35   90   507
33                           [控江地区] 金逸影城   30   90  2205
34                        [多商区]  大上海电影院   45  143  6151
35                     [多商区] 博纳银兴国际影城   40  120 28669
36             [中原地区] 博纳国际影城（中原店）   36  100  7270
37         [金桥] 佰迦乐大光明电影院(文峰广场店)   87  200  1038
38                         [惠南镇] 大地数字影院   29   50  1301
39                           [淮海路] 国泰电影院   40   90 11161
40                             [梅川路] 17.5影院   68  200   443
41 [多商区] 上影国际影城美罗店（原超极电影世界）   30  120  3031
42                 [大华地区] CGV星星 星聚汇影城 43.8  100  7971
43                [安亭] CGV星聚汇影城上海安亭店   89  184  1208
44                         [多商区] 大上海电影院   30   80  4774
45                        [宝山城区] UME国际影城   38   90 10514
46                           [曹杨地区] 曹杨影城   57  200   558
47                             [七宝] 大光明影城   32   90  8170
48                         [陆家嘴] 星美国际影城   89  180  9923
49                         [金桥] 米高梅国际影城   30   90  1055
50               [2店通用] Homie私人情侣休闲影吧   98  174  1868
51                           [南翔] 保利国际影城 30.9   90  8321
52                               [桃浦] 横店影城 19.8   80 11996
53                       [上海大学] 大地数字影院   70  140   115
54                       [静安寺] 艾米1895电影街   99  298  3708
55             [春申地区] 大地数字影院（梅陇店）   21   50   950
56                         [多商区] 保利国际影城 36.7  100  4800
57               [多商区] 大地数字影院（万嘉店）   30   50   606
58         [人民广场] 大光明电影院（南京西路店）   40  120  2725
59                       [华漕] 华夏丰尚国际影城   38   80 14077
60                         [多商区] 大地数字影院   30   50   501
61                 [大华地区] CGV星星 星聚汇影城   44  120    37
62                   [多商区] 佰迦乐大光明电影院   77  200   503
63                       [中原地区] 博纳国际影城  100  400   166
64                         [多商区] 兰生典尚影院   33  100    55
65                     [八佰伴] 兰馨·悦立方影城   60  180  4101
66           [多商区] 万裕国际影城（淮海中路店）   68  200     3
67     [多商区] 大地数字影院(浦东万嘉商业广场店)   70  140    68
68                            [2店通用] 冰雪小站   69  250  3814
69                         [新都汇] 上影国际影城   35   90 11985
70                  [上海影城/新华路] MC电影空间  138  248   152
71                            [2店通用] 冰雪小站 34.9  135 13701
72                    [4店通用] 今典院线17.5影城   26   70  5352
73                           [南翔] 比高国际影城 24.9   50   907
74                    [漕河泾/田林] 巨影国际影城   35  120   314
75        [凉城/江湾镇] 佰迦乐大光明影城(广灵店)   35  100  1992
76                         [惠南镇] 大地数字影院   84  140    42
77                               [莘庄] 连赢影城   25   80  2855
78                       [静安寺] 艾米1895电影街   80  200   153
79                    [4店通用] 今典院线17.5影城   39   70   613
80                         [宝山区] 上影国际影城   45   90   917
81                             [多商区] 17.5影院   57  200   178
82         [春申地区] 大地数字影院(梅陇新都会店)   65  140    45
83                           [西渡] 连城国际影城   30   90  3473
84                       [南方商城] 万幕私人影院   98  196  2275
85                       [金桥] 世茂时尚欢乐影城   40   80   187
86                [安亭] CGV星聚汇影城上海安亭店   46  103   961
87                 [长寿路] ZuLu情侣主题游戏影吧  188  580   105
88                             [北新泾] 17.5影院   66  200   168
89                             [多商区] 美亚影城   36  111   267
90                           [江桥] 上影国际影城   36   90  5577

[[2]]
                                           影院 团价 原价 已售
1                     [八佰伴] 兰馨·悦立方影城   30   90 7413
2                     [老闵行] 华彩弘歌鑫都影城   35   80 1287
3                           [七宝] 世纪沪星影城   36   70 1051
4                           [多商区] 沪西电影院   35  150 3010
5                           [上海南站] 悠悠影吧   98  390  161
6                           [宝山城区] 横店影城   54  160 2525
7                 [松江大学城] 世茂时尚欢乐影城   30   40  121
8       [多商区] 大地数字影院(嘉定罗宾森广场店)   84  140   25
9                     [北新泾] 今典院线17.5影城   33   70 1462
10               [3店通用] 梦想空间私人情侣影吧   80  180  889
11                          [平凉路] 红树林影院   36   80 3333
12                        [衡山路] 新衡山电影院 34.5  100   27
13                            [嘉定区] 横店影城 20.8   80  940
14                         [多商区] BOX影像沙龙   15   88  454
15                      [浦东机场] 金逸国际影城   35  100  288
16                [江桥] 橙天嘉禾影城(嘉尚坊店)   25   90  224
17                          [华新] 世纪天虹影城   68  140 1056
18                          [南京东路] 黄浦剧场 18.8   60 5401
19                    [月星环球港] 开心私人影院   15   88    0
20                           [2店通用] 冰雪小站 33.5  115 1139
21                          [宝山城区] 横店影城   27   80 5350
22                      [川沙] 上海金球国际影城   30   70 2187
23                [三林地区] 大光明影城(三林店)   32   40    0
24                      [中原地区] 博纳国际影城   99  400   46
25                        [三林地区] 大光明影城   45   71    0
26          [多商区] 佰迦乐大光明电影院(新南店) 38.8  100  340
27                          [七宝] 大光明电影院   65  140  395
28                              [南桥] 南桥影院   30   90 1840
29        [金桥] 佰迦乐大光明电影院(文峰广场店) 43.8  100  462
30                      [金山区] 艾米1895电影吧   79  178  157
31 [2店通用] 中影DFC影城/Blue Box无国界料理餐厅   98  388   20
32                  [多商区] 金逸院线新恒星影城 18.9   32  926
33               [长风公园/华师大] 华谊兄弟影院   35   80    8
34                     [多商区] Love Movie Club   84  468  511
35                              [安亭] 渡凡影城   55  146   60
36                          [七宝] 世纪沪星影城   29   41  292
37                          [多商区] 浙江电影院 19.9 61.5 2185
38               [多商区] 映像馆丨Movie Library   21   88 3223
39                        [中山公园] 龙之梦影城   18   25 3860
40                      [老闵行] 格里芬汽车影城  139  160  934
41          [2店通用] 杯猫情侣电影院/杯子里的猫   50  200   14
42                 [上海影城/新华路] MC电影空间   36  120   96
43                   [5店通用] 今典院线17.5影城 15.5   25  505
44                        [多商区] 麦希国际影城   31   80  120
45                        [金桥] 米高梅国际影城   10   25  302
46                [长寿路] ZuLu情侣主题游戏影吧   16  120 4815
47                          [上海南站] 悠悠影吧   88  328   39
48                        [金山区] 大光明电影院   68  168 1610
49                [嘉定镇] 上海银兴菲林国际影城   10   25  506
50                 [中山公园] Mr&Miss油画影音吧   28   88  499
51                            [多商区] 美亚影城   25   90 2020
52                          [平凉路] 红树林影院   19   30  829
53                     [长寿路] Love Movie Club   98  468   21
54                     [多商区] Love Movie Club   16   88 2581
55                        [长寿路] 梦想3D俱乐部   64  160  194
56                     [多商区] Love Movie Club   56  352  362
57                        [三林地区] 大光明影城   12   21   55
58                          [华新] 世纪天虹影城   34   70  660
59                      [静安寺] 艾米1895电影街   42  100   43
60                          [江桥] 上影国际影城  101  240  220
61                      [华漕] 华夏丰尚国际影城   16   26  981
62                      [南方商城] 万幕私人影院   88  198  184
63                  [淞南] 汽车梦工场汽车电影院   68  145 1230
64                        [长寿路] 梦想3D俱乐部  128  280  102
65                           [2店通用] 冰雪小站 74.6  290  138
66                            [多商区] 美亚影城   10   21  633
67                          [七宝] 世纪沪星影城   19   25  109
68                           [2店通用] 冰雪小站   76  275  503
69                      [金桥] 世茂时尚欢乐影城 15.5   20  214
70                              [安亭] 渡凡影城   28   90   24
71                         [2店通用] 人生奥斯卡   15   88  592
72                        [陆家嘴] 星美国际影城   15   30 1717
73                    [多商区] 时代凤凰国际影城   42   50   35
74                     [庙行/共康] 乐创5D电影馆  8.8   20  988
75                              [桃浦] 横店影城   27   80 2310
76                     [长寿路] Love Movie Club   65  352   12
77                            [八佰伴] 壹家影吧   18   80  578
78                     [长寿路] Love Movie Club   75  378    4
79                      [南方商城] 万幕私人影院   39   98   42
80                    [多商区] 时代凤凰国际影城 19.9   28   31
81                          [西渡] 连城国际影城   45  108  528
82                    [多商区] 萌爱小屋情侣影吧  128  298   34
83                        [多商区] 麦希国际影城   19   25  240
84                  [漕河泾/田林]  巨影国际影城   25   36    8
85                    [多商区] 萌爱小屋情侣影吧   88  178   22
86                    [老闵行] 华彩弘歌鑫都影城  8.8   12  153
87                          [江桥] 橙天嘉禾影城  100 2600   59
88                          [七宝] 我的秘密花园  128  294   98
89                  [漕河泾/田林]  巨影国际影城   35   44    3
90        [松江大学城] 世茂时尚欢乐影城(松江店) 15.5   20   84

[[3]]
                            影院 团价 原价 已售
1             [2店通用] 冰雪小站 71.8  265  203
2      [松江大学城] 恋空咖啡电影 17.8   30   14
3                [桃浦] 横店影城   30   80  280
4       [长寿路] Love Movie Club   20   88    0
5          [松江大学城] Ikitchen  9.9   30    4
6      [多商区] 萌爱小屋情侣影吧   18   88  106
7          [多商区] 麦希国际影城    1   20  733
8              [八佰伴] 壹家影吧  186  236   82
9   [中山公园] Mr&Miss油画影音吧   18   58  162
10           [江桥] 上影国际影城   65  120  466
11           [江桥] 上影国际影城   41  120   81
12           [上海南站] 悠悠影吧   18   70   48
13               [桃浦] 横店影城   33   90  278
14           [上海南站] 悠悠影吧   98  390    7
15           [宝山城区] 横店影城   31   80 1668
16     [多商区] 萌爱小屋情侣影吧  298  868    0
17      [庙行/共康] 乐创5D电影馆   53  160    8
18 [松江大学城] 身临其境7D电影院   68  290   61
19           [曲阳地区] 曲阳影都   58  210  409
20           [曲阳地区] 曲阳影都   30  100  124
21             [天山] 乐透喜剧社   36   80   24
22   [多商区] 金逸院线新恒星影城 26.9  100 1100
23 [多商区] 开心喵喵情侣私人影吧   18   98   22
24 [多商区] 开心喵喵情侣私人影吧   29  135   14
25           [上海南站] 悠悠影吧    1   70  100
26            [2店通用] 17.5影城   34  120 1818

奇怪，我为什么会这样呢，R的稳定性还是有问题，这种情况我遇到好几次了，还有一次才搞笑呢，昨天晚上运行正常的程序，第二天就跑不出来了。

哇 挺好的 改天研究下

thanks for sharing！！！