用R进行网页表格数据抓取问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

在网上找到一个用R进行网页表格数据抓取问题的博客，但用R操作好像得不到结果，哪位大神有经验的帮忙解答一下？
require(XML)
require(RCurl)

webpage<-getURL(link) ＃此处我将link换成所需表格所在的网页地址,例如"www.baidu.com"
  webpage <- readLines(tc <- textConnection(webpage)); close(tc)
  pagetree <- htmlTreeParse(webpage, error=function(...){}, useInternalNodes = TRUE)
tablehead <- xpathSApply(pagetree, "//table//th", xmlValue)  ＃这里是抓表格的标题
result<-xpathSApply(pagetree,"//table//td",xmlValue)   ＃这里是表格内容

怎么能得到表格,在线求支援！！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：表格数据 数据抓取 require Rcurl Equi require 网页 博客 网上

ryoeng 发表于 2015-9-15 19:39
F12 >> Network >> XHR
或者直接在该文件链接点击右键后Inspect Element...
http://cos.name/cn/topic/11 ...

大神，我是R菜鸟，能否详细解释一下，我的需求是获取指定网址内的表格数据

ryoeng 发表于 2015-9-16 14:01
采集数据 与 webdriver 是肖南兄和itelin的强项。（咱也是三年前从统计之都学来的）
http://cos.n ...

d1 = url %>% html_session() %>% html_nodes("li .td-1st") %>% html_text(encoding="UTF-8")

能麻烦您帮我解释下这类语句的作用是什么？ html_session() ；html_nodes；html_text是什么意思，还有里面的参数怎么获取？

ryoeng 发表于 2015-9-18 18:54
有例子可参考。。。
http://www.jeepshoe.org/84888464.htm
http://www.jeepshoe.org/86916906.htm

我也搜索了很多案例看过了，最主要的还是不知道html_nodes("li .td-1st")节点"li .td-1st"是什么意思，怎么获取、确定

归＠零 发表于 2015-9-22 14:00
我也搜索了很多案例看过了，最主要的还是不知道html_nodes("li .td-1st")节点"li .td-1st"是什么意思，怎 ...

我稍微懂点了，li:   td:  th: 是html的标签，但是如何获取还是不懂

ryoeng 发表于 2015-9-23 20:34
（咱十多年前修读电脑科学时学的，使用notepad编写网页的时代，都忘光了，得温习... 尤其是日后使用shiny ...

感谢大师耐心细致的指导！