这是 对方网站设置的反爬 机制，还是我循环代码写的有问题？？？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

> hospital_df <- data.frame()
> for (m in 1:length(hospital_url)){
+   fun2(url)
+   hospital_df <- rbind(hospital_df,fun2(url))
+ }
Hide Traceback

Rerun with Debug
Error in open.connection(x, "rb") : HTTP error 404.
10.
open.connection(x, "rb")
9.
open(x, "rb")
8.
read_xml.connection(con, encoding = encoding, ..., as_html = as_html,
    base_url = x, options = options)
7.
read_xml.character(x, encoding = encoding, ..., as_html = TRUE,
    options = options)
6.
read_xml(x, encoding = encoding, ..., as_html = TRUE, options = options)
5.
withCallingHandlers(expr, warning = function(w) invokeRestart("muffleWarning"))
4.
suppressWarnings(read_xml(x, encoding = encoding, ..., as_html = TRUE,
    options = options))
3.
read_html.default(str_c(url, "/tao.html"))
2.
read_html(str_c(url, "/tao.html"))
1.
fun2(url)


这是 对方网站设置的反爬 机制，还是我循环代码写的有问题？？？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：length leng HOS url eng

fcfc2013 发表于 2018-3-17 23:20
&gt; hospital_df  for (m in 1:length(hospital_url)){
+   fun2(url)
+   hospital_df

设置爬虫循环每次运行间隔的时间；
那个函数和设置方法？

先在浏览器中输入“http://要爬的网站/robots.txt”看看有没有禁止爬虫的协议？