用R语言网抓数据文本@求助！

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1. library(RCurl)
   
2. library(XML)
   
3. url="http://fangjia.fang.com/tj/"
   
4. web=getURL(url,encoding="gb18030")
   
5. htm=htmlParse(web,encoding="gb18030")
   
6. node=getNodeSet(htm,path="//p[@class='mt5']/text()")
   
7. city=sapply(node,xmlValue)
   
8. city

复制代码

想分别抓取这两行文本，存放成两列放data.frame(),求大师们出手，非常感谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：R语言 Library Coding BRARY Frame library

我用Rvest+selectorgadget 试了半天也不行。取不到值。
不知道怎么回事。

johnmy 发表于 2016-11-18 00:42
我用Rvest+selectorgadget 试了半天也不行。取不到值。
不知道怎么回事。

哎 昨天取了一天没搞出来

请求帮忙

这是图表数据，好像R没有好办法。这里有个笨办法，不知是否可用。
先确定数据所在。
在当前网页按F12>网络>XHR>刷新(按F5)>找到对应的网址
library(dplyr)
library(rvest)
require("XML")
URL = 'http://fangjia.fang.com/pinggu/Ajax/DefaultNewChartData.aspx?r=0.6556055881736629&cityshort=tj'
web <- readLines(URL,encoding="gb2312")

minimal <- read_html(web)
minimal %>% html_nodes("a") %>% html_text()

[1] "二手房11月均价22307元/㎡，环比：5.55%↑，同比：33.46%↑"
[2] "新房10月均价13414元/㎡，环比：1.55%↑，同比：23.13%↑"  

用其他的方法不能解决乱码问题。

Following

其实 那个url从原来的网页里可以提取到。所以完全可以用R实现所有的步骤, 这样就可以自动化了。

1. 'http://fangjia.fang.com/tj/'->ir
   
2. library(httr)
   
3. library(XML)
   
4. library(dplyr)
   
5. library(rvest)
   
6. 
   
7. 
   
8. GET(ir)->inter1
   
9. cat(content(inter1,'text'),file='tmp',sep="\n")
   
10. htmlTreeParse('tmp', useInternal=T)->inter2
    
11. getNodeSet(inter2,"//script[@language='javascript']")->inter3
    
12. 
    
13. #####
    
14. grep('chartdata',sapply(inter3, function(xxx) as(xxx,'character')),value=T)->inter4
    
15. gsub(".*load(.*?)\\);.*","\\1",inter4)->inter5
    
16. eval(parse(text=gsub(" \\+ ",",",paste('paste',gsub('Math.random\\(\\)','abs(rnorm(1))',inter5),',sep="")->wh'))))
    
17. 
    
18. URL = paste('http://fangjia.fang.com/',wh,sep='')
    
19. GET(URL)->what
    
20. 
    
21. minimal <- read_html(content(what,'text'))
    
22. minimal %>% html_nodes("a") %>% html_text()

复制代码

luzifer_li 发表于 2016-11-21 16:24
其实 那个url从原来的网页里可以提取到。所以完全可以用R实现所有的步骤, 这样就可以自动化了。

感谢，就是还没看懂，因为刚学R不久，我再好好研究一下