R语言爬虫遇到错误

我的原计划是把http://www.cbalicai.com/productTotal.html上面的理财产品爬下来。
http://www.cbalicai.com/productTotal.html
网上找的一段可行的代码：

1. library(rvest)
   
2. words <- read_html("http://xh.5156edu.com/ciyu/z4998m5241j1770.html",encoding = 'gbk')
   
3. v2 <- html_table(html_nodes(words, "table"),fill = TRUE)[[8]]
   
4. v2

复制代码

按它的操作一遍，果然得到一个数据表格
于是，我模仿它写了一段自己的代码，可是为什么我得到的结果是“list()” 没资料啊没资料。求高手指点。

1. words <- read_html("http://www.cbalicai.com/productTotal.html",encoding = "UTF-8")
   
2. v2 <- html_table(html_nodes(words, "table"),fill = TRUE)
   
3. v2

复制代码

跟网页加载方式有关，所以要用真实的表格网址
http://www.cbalicai.com/producttoIndex.do?page.pageNo=1
末尾是1代表第1页

1. library(rvest)
   
2. words <- read_html("http://www.cbalicai.com/producttoIndex.do?page.pageNo=1",encoding = "UTF-8")
   
3. v2 <- words %>% html_nodes("table") %>% html_table() %>% data.frame()
   
4. v2

复制代码

小朝 发表于 2017-8-18 10:41
跟网页加载方式有关，所以要用真实的表格网址
http://www.cbalicai.com/producttoIndex.do?page.pageNo=1
...

您的答案太棒了！再多问一句，我想做个循环，把这些都弄下来。能不能自动获取它的最大页码？

1. library(rvest)
   
2. 
   
3. maxp <- 2
   
4. 
   
5. for (i in 1:maxp){
   
6.   webstr <- "http://www.cbalicai.com/producttoIndex.do?page.pageNo=" + i
   
7.   words <- read_html(webstr,encoding = "UTF-8")
   
8.   v2 <- words %>% html_nodes("table") %>% html_table() %>% data.frame()
   
9. }

复制代码

tylerma3223 发表于 2017-8-22 13:37
您的答案太棒了！再多问一句，我想做个循环，把这些都弄下来。能不能自动获取它的最大页码？

这要试，或与网站联系，是否允许大批量下载。。例如，新浪网上的历史交易数据，下载几支股票是可以的，但全部股票下载，就会被阻止，出现： "HTTP error 456."  错误提醒．