R语言网络爬虫 for循环

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大神们可以帮忙看一下吗？用R进行网络爬虫时想插入一个for循环但不会写：
x=read.table("web2.txt",head=T) #文件里是3个网页链接
i=1:10;j=1:3
zsj1=data.frame()
zsj2=data.frame()
zsj3=data.frame()
for(i in 1:10){
        for(j in 1:3){
        web=read_html(str_c(x[j,],i),encoding="UTF-8")#x[j,]表示第j个链接
                title=web %>% html_nodes(".res-title") %>% html_text()#新闻标题
                sites=web %>% html_nodes(".res-linkinfo") %>% html_text()#新闻发布网站
                        sj1=data.frame(title,sites)
                                zsj1=rbind(zsj1,sj1)
}}

我想循环下来把从3个网页链接爬取的东西合到一个数据集里，但运行下来什么也没爬到。我令j=1时是可以得到结果的，所以我觉得循环的后半部分错了，有大神可以帮忙看看吗?谢谢啦！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

把你三个网页的连接贴出来看看

zhou1_20 发表于 2020-2-8 17:48
把你三个网页的连接贴出来看看

https://www.so.com/s?ie=utf-8&am ... 9%97%BB&adv_t=y
https://www.so.com/s?q=%E6%9D%AD ... =chrome_address_bar
https://www.so.com/s?q=%E6%9D%AD ... =chrome_address_bar

https://www.so.com/s?ie=utf-8&q=%E6%9D%AD%E5%B7%9E%E6%99%BA%E6%85%A7%E8%AD%A6%E5%8A%A1%E6%96%B0%E9%97%BB&adv_t=y
https://www.so.com/s?q=%E6%9D%AD%E5%B7%9E%E6%99%BA%E6%85%A7%E8%AD%A6%E5%8A%A1%E6%96%B0%E9%97%BB&pn=2&psid=27ad754a369ddf42776153ffd5537740&src=srp_paging&adv_t=y&fr=chrome_address_bar
https://www.so.com/s?q=%E6%9D%AD%E5%B7%9E%E6%99%BA%E6%85%A7%E8%AD%A6%E5%8A%A1%E6%96%B0%E9%97%BB&pn=3&psid=44ea8ae5b0638878c8036d432ef89656&src=srp_paging&adv_t=y&fr=chrome_address_bar

你应该遇到ajax了 现在网站反爬虫技术都很先进 你也不想想你怎么可能用这么两行玩意就能做个爬虫了