关于用rvest抓取<script>标签里数据的问题

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

关于抓取新浪微博的时候，

程序如下；
library(rvest)
library(stringr)
url = 'http://weibo.com/p/100808f8b273063bbf129c4b4c8d4b88490682?k=Galaxy+S6+edge&from=526&_from_=huati_topic'
web<-html(url,encoding="UTF-8")
web%>% html_nodes(".W_f12")

网址：
http://weibo.com/p/100808f8b273063bbf129c4b4c8d4b88490682?k=Galaxy+S6+edge&from=526&_from_=huati_topic

附图1：想抓取的数据 附图2：网页HTML代码 问题：待抓的数据794.9万放置在<script>里面，所以无法抓取，求大拿帮组

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Vest VES Est Library Galaxy 新浪微博 library 标签 程序 大拿

顶起来，各位大拿帮回答一下

ryoeng 发表于 2015-8-30 17:20
登入后再说呗。。。（咱模拟了一下，也登入不了）
http://cos.name/cn/topic/411615/

我的想法是，794.9万是放置在<script>里面，如果能把网页源文件拿到，直接进行字符串处理，也是可以抓取到794.9万的，但是如何能把整个网页源文件读到R文件里呢？
多谢

思路: 用rvest把script里面的js抓出来, 再用正则表达式处理.

ryoeng 发表于 2015-8-31 19:56
ryoeng 在职认证  发表于 昨天 17:20 |只看作者
不是说了，得登入后再说呗。。。（咱模拟了一下登入微博 ...

我可以在先人工登录了，然后就可以抓，因为需要抓的网站个数多，所以无法人工，呵呵

马甲1号 发表于 2015-9-1 09:38
思路: 用rvest把script里面的js抓出来, 再用正则表达式处理.

我现在就是这个思路，但是如何用rvest把script里面的js抓出来？

ryoeng 发表于 2015-8-31 19:56
ryoeng 在职认证  发表于 昨天 17:20 |只看作者
不是说了，得登入后再说呗。。。（咱模拟了一下登入微博 ...

我的理解是因为利用浏览器，我不登录也能看到我想要抓取的数字，并且网页源文件里也能看到（在script标签里），是不是R语言不用登录，只要我把源文件抓下来，就可以利用正则选出来？ 可是如何把该页面的源文件利用R抓下来呢