用R抓取交易所大宗交易数据

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1. library(RCurl)
   
2. library(rjson)
   
3. library(XML)
   
4. 
   
5. getdzjy.sh <- function(whichdate){
   
6.     BASEURL_SH = 'http://query.sse.com.cn/commonQuery.do'
   
7.     post_sh=c( jsonCallBack='jsonpCallback12345',isPagination='true',sqlId='COMMON_SSE_XXPL_JYXXPL_DZJYXX_L',stockId='',startDate= whichdate,endDate=whichdate,pageHelp.pageSize='10000',pageHelp.cacheSize='10000',num='')
   
8.     cn = postForm(BASEURL_SH, .params=post_sh, .opts = list(referer = 'http://www.sse.com.cn/disclosure/diclosure/block/'))
   
9.     m=regexpr('jsonpCallback12345.*\"data\":(?P<purejson>\\[.+\\])\\,\"sqlId\"', cn, perl=T)
   
10.     purejson = substr(cn, attr(m, 'capture.start'), attr(m, 'capture.start')+attr(m, 'capture.length')-1)
    
11.     purejson.parsed=fromJSON(purejson)
    
12.     outdf = Reduce(function(...) merge(...,all=T),  lapply(purejson.parsed, data.frame))
    
13.     outdf2 = outdf[grepl('[36]\\d{5}|00[02]\\d{3}',outdf$stockid ),c('tradedate', 'stockid', 'abbrname', 'tradeprice', 'tradeqty', 'tradeamount', 'branchbuy', 'branchsell')]
    
14.     names(outdf2)=c("交易日期", "证券代码", "证券简称", "成交价格", "成交量", "成交金额",
    
15. "买方营业部", "卖方营业部")
    
16. 
    
17.     outdf2
    
18. }
    
19. 
    
20. 
    
21. getdzjy.sz <- function(whichdate){
    
22.     BASEURL_SZ = 'http://www.szse.cn/szseWeb/FrontController.szse'
    
23. 
    
24.     post_sz=c(ACTIONID=7, CATALOGID='1265_xyjy',txtKsrq=whichdate,txtZzrq=whichdate, TABKEY='tab1')
    
25.     pgnum= -1
    
26.     pg=1
    
27.     datatable=NULL
    
28.     while(T){
    
29.         print( sprintf('pg=%d/pgnum=%d',pg,pgnum))
    
30.         if(pg==1){
    
31.             cn=getForm(BASEURL_SZ, .params = post_sz, .opts = list(referer='http://www.szse.cn/main/disclosure/news/dzjy/'))
    
32.             m=regexpr('tab1PAGECOUNT=(\\d+)&', cn, perl=T)
    
33.             pgnum=as.numeric(substr(cn, attr(m, 'capture.start'),attr(m, 'capture.start')+attr(m, 'capture.length')-1))
    
34.         }else{
    
35.             post_sz2= c(tab1PAGENUM=pg, tab1PAGECOUNT=pgnum)
    
36.             cn=getForm(BASEURL_SZ, .params =c( post_sz, post_sz2), .opts = list(referer='http://www.szse.cn/main/disclosure/news/dzjy/'))
    
37.         }
    
38.         cn.utf8=iconv(cn, 'gbk','utf-8')
    
39.         parsed = htmlParse(cn.utf8, encoding = 'utf-8')
    
40.         parsed.table=getNodeSet(parsed, '//table[@id="REPORTID_tab1"]')
    
41.         datatable.new = readHTMLTable( parsed.table[[1]])
    
42.         datatable=rbind(datatable, datatable.new)
    
43.         pg=pg+1
    
44.         if(pg>pgnum)break
    
45.     }
    
46.     datatable
    
47. }
    
48. 
    
49. 
    
50. main <- function(){
    
51.     TODAY= format(Sys.Date())
    
52.     a=getdzjy.sz(TODAY)
    
53.     b=getdzjy.sh(TODAY)
    
54.     dzjy_today=rbind(a,b)
    
55. 
    
56. 
    
57. }

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：交易数据 大宗交易 交易所 Library BRARY function library 交易所

需要数据抓取服务的，可以联系QQ1453724998