基于 R 语言的自动化数据采集技术---Webdriver调用selenium 失效，无法新建浏览器

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

==========背景===================
本人最近在R语言爬虫，但是有的网站是动态的json格式，每次找跳转的网址，好麻烦，因此，寻找新的方法，架构一个浏览器，在自己的浏览器里面寻找网址。于是有了以下的问题：

==========执行步骤分割线============
1、cmd启用 java -jar selenium-server-standalone-2.53.0.jar //启动selenium
2、R控制台
> library("Rwebdriver", lib.loc="C:/Program Files/R/R-3.2.3/library")
Loading required package: RCurl
Loading required package: bitops
Loading required package: RJSONIO
> library("XML", lib.loc="\\\\CNDOUW0000/Users/CNLeeWi/R/win-library/3.2")
> start_session(root = "http://localhost/wd/hub/" ,browser = "firefox")
Error in function (type, msg, asError = TRUE)  :
  Failed to connect to localhost port 80: Connection refused


=========相关资料链接================

http://www.r-bloggers.com/scraping-with-selenium/

https://cran.r-project.org/web/packages/RSelenium/vignettes/RSelenium-basics.html

https://github.com/coderLMN/AutomatedDataCollectionWithR/issues

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：driver drive Elen 数据采集 R调用 新建 function localhost required 浏览器

R语言能干这么多事

juliewong 发表于 2016-7-25 16:36
R语言能干这么多事

R的世界，个人觉得网络数据采集、数据挖掘、可视化、机器学习等方面都有自己独到的优势

不要用R爬动态网页，超级超级麻烦，还是用Python吧，R分析数据就行。

zhaoleibupt 发表于 2016-7-25 17:29
不要用R爬动态网页，超级超级麻烦，还是用Python吧，R分析数据就行。

就目前来说，爬虫确实不是R的擅长，python爬的比较简单。我也只是小型数据爬取，例如网 站评 价，作为一个尝试也未尝不可

太阳之子追梦者 发表于 2016-7-25 17:37
就目前来说，爬虫确实不是R的擅长，python爬的比较简单。我也只是小型数据爬取，例如网 站评 价，作为一个 ...

网站的评论一般都是用ajax写的，需要模拟浏览器或者抓包，最好还是Python。抓包的话R部分可以，模拟浏览器就算了。

zhaoleibupt 发表于 2016-7-25 17:39
网站的评论一般都是用ajax写的，需要模拟浏览器或者抓包，最好还是Python。抓包的话R部分可以，模拟浏览器 ...

R模拟浏览器的方式，国外早就有了，用滥了都。限于本人英文水平一般（哎，是个痛点），有的地方看的似懂非懂，所以来这里看看有没有人做过。我有请教使用python的朋友，其实逻辑是一样的，他们也用selenium

太阳之子追梦者 发表于 2016-7-25 17:11
R的世界，个人觉得网络数据采集、数据挖掘、可视化、机器学习等方面都有自己独到的优势

可惜没有学会，有好的介绍吗，入门的资料

juliewong 发表于 2016-7-25 20:09
可惜没有学会，有好的介绍吗，入门的资料

指的是？

太阳之子追梦者 发表于 2016-7-25 16:26
==========背景===================
本人最近在R语言爬虫，但是有的网站是动态的json格式，每次找跳转的网 ...

学习了