sciencedirect(爱思唯尔）论文爬虫

   我之前为爬取JSTOR(期刊文库）上面Journal of Finance 近五年的文章编了代码，一直运转良好。但最近导师要求我去下载JFE期刊（其在sciencedirect文库上）的近五年文章，我把自己的代码改了下却发现并不能使用，主要错在request.get并没得到相应的网页文本。求助有在sciencedirect爬取文章经验的大神，还望不吝赐教啊！

注明：我是因为使用学校的IP地址，因此我的IP是有权限访问并下载sciencedirect文章的。

网站使用的动态编程吧？

嗯，你果然是有水平呀，那请问这该用什么爬取啊？我手动下载时就会发现：首先在下载文章时会出现重定向（自动跳转）现象；然后，在网页加载pdf文本后，我过一会点击右上方的下载pdf按钮，显示的窗口就会成为 （刚开始点击下载按钮是没问题的）。

好吧，我自己已经摸索到答案了。谢谢大家的围观和回复了。

PDF文件怎么爬取的？楼主指导一哈？？？

木长耳斗眼儿 发表于 2018-12-26 18:59
PDF文件怎么爬取的？楼主指导一哈？？？

如果你对这个感兴趣的话，可以私聊。

我也想要在sciencedirect爬取文章，楼主能否指点一下，谢谢

zxt1 发表于 2019-3-14 22:28
我也想要在sciencedirect爬取文章，楼主能否指点一下，谢谢

怎么指点呢？

zxt1 发表于 2019-3-14 22:28
我也想要在sciencedirect爬取文章，楼主能否指点一下，谢谢

怎么指点呢？