网络爬虫报错，求助各位高手

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

你知道这个帖子吗？“从拉勾网爬的招聘数据 解析中国数据挖掘人才能挣多少钱”
我在学习这个帖子里面的源代码时运行报错，详细如下：

1.     i =0
   
2.     type='true'
   
3.     url='http://www.lagou.com/jobs/positionAjax.json?px=default&first='+type+'&kd='+keywordindex+'&pn='+str(i+1)
   
4.     with request.urlopen(url) as f:
   
5.         data=f.read()
   
6.         urlcount=int(json.loads(str(data,encoding='utf-8',errors='ignore'))["content"]["totalPageCount"])
   
7.         print('本次搜索页面共计%d'%urlcount)

复制代码

报错截图：

顺便再请教两个问题：
程序中的str(i+1)用什么特别的作用吗？str(data,encoding='utf-8',errors='ignore')这的str函数允许有后面两个参数吗？我这运行也报错啊，说最多一个参数。
先谢谢各位高手啦，俺是小白！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：网络爬虫 position Default Content Request 网络

str(i)是把数字型转换成字符型啊，str应该是只有一个参数的，unicode才有你说的三个参数吧

另外，那个错误应该是说你的 request.urlopen(url)这个函数返回值没有办法缺省的退出方法，你可以不用这个with，然后用close或类似方法结束这个request的

tomatojack 发表于 2015-11-13 11:53
str(i)是把数字型转换成字符型啊，str应该是只有一个参数的，unicode才有你说的三个参数吧

应该是版本问题，python3.4没问题好像，2.7就不行

tomatojack 发表于 2015-11-13 11:55
另外，那个错误应该是说你的 request.urlopen(url)这个函数返回值没有办法缺省的退出方法，你可以不用这个w ...

是的，我不用with...as这种结构了，就咩有问题了，谢谢

tomatojack 发表于 2015-11-13 11:55
另外，那个错误应该是说你的 request.urlopen(url)这个函数返回值没有办法缺省的退出方法，你可以不用这个w ...

再请教一下问题哈
就是网络爬虫的url如何确定啊，我在网上实际搜索的地址与例子代码中的url不一样，不知道例子中的url是如何分析出来的，对搜索结果还可以循环分析每一页，先谢谢你啦~~~

gaotao0727 发表于 2015-11-16 09:48
再请教一下问题哈
就是网络爬虫的url如何确定啊，我在网上实际搜索的地址与例子代码中的url不一样，不知 ...

具体这个例子我并不了解，可能需要看网页源代码，然后用一些工具提取出来才行

tomatojack 发表于 2015-11-16 13:28
具体这个例子我并不了解，可能需要看网页源代码，然后用一些工具提取出来才行

好像是，需要研究一下~~非常感谢哦~