批量爬取知网统计年鉴详细介绍附代码

海之城 发表于 2019-9-27 10:40
我在py3下运行的，爬虫文档有点错误，修正后还是空的

应该是cookies的问题，REQUEST请求一下headers里面的cookies和agent即可。

调解心理学 发表于 2019-9-27 10:53
应该是cookies的问题，REQUEST请求一下headers里面的cookies和agent即可。

请问怎么设置？

海之城 发表于 2019-9-27 12:14
请问怎么设置？

多百度谷歌，爬虫的教学网上多的不行。
另外我代码是python 3.6版本时候写的

hellohappy0 发表于 2019-6-19 09:12
批量爬取知网统计年鉴的方法，需要学校购买过该统计年鉴库
这里以爬取1984年到2017年中国城市统计年鉴的所 ...

如果程序好用，可以减少不少工作量！

求楼主赠送论坛币，学生为了你的帖子专门注册了

xzjy789 发表于 2019-10-15 15:01
求楼主赠送论坛币，学生为了你的帖子专门注册了

现在改成免论坛币了

请问在爬取的时候是连学校的网才可以吗，用VPN的话我的不行呢，
还有一个问题，如果年鉴上的Excel表的名字相同，怎样修改下载呢（我需要下载保险年鉴，地方版的表格名称都是相同的）

海之城 发表于 2019-9-27 10:40
我在py3下运行的，爬虫文档有点错误，修正后还是空的

我的也是这样的问题，请问解决了吗

调解心理学 发表于 2019-9-27 10:53
应该是cookies的问题，REQUEST请求一下headers里面的cookies和agent即可。

您好，请问代码中如何加cookies和agent，我完全代码小白，但是需要下载保险年鉴，还麻烦您帮助

海之城 发表于 2019-9-27 12:14
请问怎么设置？

您好，请问年鉴下载空白问题解决了吗，我遇到同样的问题，求帮助