求助用R进行融资融券数据的网页抓取

最近想研究一下股票融资融券的数据，但无奈这些数据都是存储在各家网站的网页上的。

设想：用require(XML)和require(RCurl)两个包抓取下面两个网页的数据，一个是个股的每日成交数据（每日成交金额），一个是融资融券的数据（主要是融资买入额，融资余额，融资偿还额）。


网站1：http://data.eastmoney.com/rzrq/detail/600030.html


[size=13.63636302948px]网站2：http://app.finance.ifeng.com/hq/stock_daily.php?code=sh600030

这里只需截取成交额即可。

网站3：http://stockdata.stock.hexun.com/600030.shtml
这里只需要流通股本这一个数据。

流通A股(亿)

98.15

我想的是把这两个网站的以上数据汇总到R中的一个data frame中去，然后仅需修改网址的后缀即可实现任意个股的数据查询。但首先应该就是网页数据的抓取。请大神们支招。谢谢！！！

网页1前5页

require(RCurl)
require(rjson)
cURL <- paste("http://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=FD&sty=MTE&mkt=1&code=600030&p=",1:5,sep="")
fdjson <- getURL(cURL)
fdjson1 <- substr(fdjson,2,nchar(fdjson)-1)
fdlist <- sapply(fdjson1,fromJSON)
fdlist <- strsplit(fdlist,",")
fdm <- matrix(unlist(fdlist),ncol=13,byrow=T)

require(RCurl)
require(rjson)
fdjson <- getURL("http://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=FD&sty=MTE&mkt=1&code=600030")
fdjson1 <- substr(fdjson,2,nchar(fdjson)-1)
fdlist <- fromJSON(fdjson1)
fdlist <- strsplit(fdlist,",")
fdm <- matrix(unlist(fdlist),nrow=length(fdlist),ncol=13,byrow=T)

网站1数据的抓取，请参考

看网页源码可知
1，数据来源
dataurl: "http://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=FD&sty=MTE&mkt=1&code=600030&st={sortType}&sr={sortRule}&p={page}&ps={pageSize}&js=var {jsname}={pages:(pc),data:[(x)]}{param}",
2，网页显示只部分数据和指定表示顺序
row.cells[0].innerHTML = c;
                row.cells[1].innerHTML = data[4].replace(/\//g, "-"); //
                row.cells[2].innerHTML = data[12].format(1,0,true,"-"); //
                row.cells[3].innerHTML = data[10].format(1,0,true,"-"); //
                row.cells[4].innerHTML = data[9].format(1,0,true,"-"); //
                row.cells[5].innerHTML =data[7].format(1,0,true,"-"); //
                row.cells[6].innerHTML =data[6].format(1,0,true,"-"); //
                row.cells[7].innerHTML =data[5].format(1,0,true,"-"); //

第一个是JSON格式的数据，搞不明白如何趴；第二个比较简单，是HTML格式数据。
library(rvest)
url = 'http://app.finance.ifeng.com/hq/stock_daily.php?code=sh600030'
dat = url %>% html() %>% html_nodes('table') %>% html_table() %>% .[[1]]
names(dat) = c('日期','开盘价','最高价','最低价','收盘价','成交量','成交额','涨跌额','涨跌幅')

如果有乱码用下面代码去掉没有用的乱码：

dat$日期 = sapply(1:nrow(dat),function(i)                              str_extract(dat[i,1],"\\d{4}-\\d{2}-\\d{2}"))

dat$成交量 = sapply(1:nrow(dat),function(i)
                             str_extract(dat[i,6],"\\d+"))

dat$成交额 = sapply(1:nrow(dat),function(i)
                             str_extract(dat[i,7],"\\d+"))

内容mark

dataorz 发表于 2015-1-7 16:29
require(RCurl)
require(rjson)
fdjson

请问这里能否显示全部页面的数据呢？这只股票一共有23页。哪怕显示前5页也行。谢谢！

daishen 发表于 2015-1-7 17:31
第一个是JSON格式的数据，搞不明白如何趴；第二个比较简单，是HTML格式数据。
library(rvest)
url = 'htt ...

您第二段代码好像有误，能否用插入代码的编辑修改一下？谢谢！

wqf_cufe 发表于 2015-1-8 01:13
您第二段代码好像有误，能否用插入代码的编辑修改一下？谢谢！

网站的问题，编辑后还是那样

daishen 发表于 2015-1-8 06:20
网站的问题，编辑后还是那样

我这样改了一下就不行了，麻烦帮看看，谢谢！

1. library(rvest)
   
2. require(stringr)
   
3. 
   
4. ticker <- "600031"
   
5. web <- 'http://app.finance.ifeng.com/hq/stock_daily.php?code='
   
6. url <- paste(web,ticker,sep="")
   
7. 
   
8. dat = url %>% html() %>% html_nodes('table') %>% html_table() %>% .[[1]]
   
9. names(dat) = c('日期','开盘价','最高价','最低价','收盘价','成交量','成交额','涨跌额','涨跌幅')
   
10. 
    
11. dat <- data.frame(dat)
    
12. 
    
13. 
    
14. 
    
15. dat[,1]= sapply(1:nrow(dat),function(i) str_extract(dat[i,1],"d4−d2−d2"))
    
16. dat$成交量 = sapply(1:nrow(dat),function(i) str_extract(dat[i,6],"\\d+"))
    
17. dat$成交额 = sapply(1:nrow(dat),function(i) str_extract(dat[i,7],"\\d+"))

复制代码