用python爬取一个网页源码

为什么回复需要审核了？！！！

bxshi 发表于 2015-8-12 22:46
明白了，这个问题是因为urllib不能好好处理302重定向导致的错误，你需要用requests包来抓数据。

代码如下 ...

谢谢。不过还是报错了，请问有别的解决方法吗？

shaode01 发表于 2015-8-13 23:14
我错了，这跟参数貌似没有关系，我访问天猫首页是没有问题的
https://www.tmall.com/?spm=a1z10.5-b.0.0 ...

谢谢。请问有方法爬取这个页面吗？

万人往LVR 发表于 2015-8-14 15:35
谢谢。不过还是报错了，请问有别的解决方法吗？

你可以把错误贴上来吗？

万人往LVR 发表于 2015-8-14 15:35
谢谢。不过还是报错了，请问有别的解决方法吗？

你可能没有安装requests包？你需要用 pip install requests 来把requests这个python包装上。
如果还有问题请把错误信息也发上来吧。

bxshi 发表于 2015-8-15 01:51
你可以把错误贴上来吗？

1. >>> import requests
   
2. >>> r = requests.get('https://asos.world.tmall.com/search.htm?spm=a1z10.5-b.w41-5044691060.102.QqiXRs')
   
3. 
   
4. Warning (from warnings module):
   
5.   File "C:\Python27\lib\site-packages\requests\packages\urllib3\util\ssl_.py", line 90
   
6.     InsecurePlatformWarning
   
7. InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
   
8. 
   
9. Traceback (most recent call last):
   
10.   File "<pyshell#1>", line 1, in <module>
    
11.     r = requests.get('https://asos.world.tmall.com/search.htm?spm=a1z10.5-b.w41-5044691060.102.QqiXRs')
    
12.   File "C:\Python27\lib\site-packages\requests\api.py", line 69, in get
    
13.     return request('get', url, params=params, **kwargs)
    
14.   File "C:\Python27\lib\site-packages\requests\api.py", line 50, in request
    
15.     response = session.request(method=method, url=url, **kwargs)
    
16.   File "C:\Python27\lib\site-packages\requests\sessions.py", line 465, in request
    
17.     resp = self.send(prep, **send_kwargs)
    
18.   File "C:\Python27\lib\site-packages\requests\sessions.py", line 573, in send
    
19.     r = adapter.send(request, **kwargs)
    
20.   File "C:\Python27\lib\site-packages\requests\adapters.py", line 431, in send
    
21.     raise SSLError(e, request=request)
    
22. SSLError: [Errno 1] _ssl.c:504: error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

复制代码

谢谢！

万人往LVR 发表于 2015-8-17 08:57
谢谢！

并不是很清楚python在windows下的使用，有两点可以试一下：
1） 将https改成http
2）返回的错误是个warning，能否查看一下r.text 是否有内容

bxshi 发表于 2015-8-17 11:32
并不是很清楚python在windows下的使用，有两点可以试一下：
1） 将https改成http
2）返回的错误是个war ...

谢谢。你是mac系统？原本用R爬虫也是这个问题，mac能爬windows爬不了。你说的两种方案还是出错，而且不是warning，后面有个traceback。

bxshi 发表于 2015-8-17 11:32
并不是很清楚python在windows下的使用，有两点可以试一下：
1） 将https改成http
2）返回的错误是个war ...

可不可以把你的header告诉我？想试一下会不会伪装mac的header就可以用了

你可以试试代码里的其他链接，都没有错误，只有你要爬的这个页面报错

1. import urllib2
   
2. import urllib
   
3. import re
   
4. import socket
   
5. import httplib
   
6. import sys
   
7. 
   
8. url='https://asos.tmall.com/search.htm'
   
9. values={
   
10.         'spm':'a1z10.5-b.w4011-5044691060.102.QqiXRs',
    
11.         'search':'y',
    
12.         'orderType':'defaultSort',
    
13.         'pageNo':'2',
    
14.         'tsearch':'y'   
    
15.         }
    
16. data=urllib.urlencode(values)
    
17. url=url+'?'+data
    
18. url='https://detail.tmall.com/item.htm?spm=a1z10.5-b.w4011-5044691060.108.tFTsqy&id=521245233587&rn=36a17f1a4df6092dbc5daa6cf2ca7f99&abbucket=1'
    
19. url='http://wuyouhuwai.taobao.com/search.htm?search=y&v=1'
    
20. url='https://asos.tmall.com/search.htm?spm=a1z10.5-b.w4011-5044691060.102.QqiXRs&search=y&orderType=defaultSort&pageNo=2&tsearch=y#anchor'
    
21. #url='https://asos.tmall.com/category.htm?spm=a1z10.5-b.w4010-5044691058.2.IHxn4N&search=y'
    
22. #url='https://www.tmall.com/?spm=a1z10.5-b.0.0.gAVjBC'
    
23. #request=urllib2.Request(url)
    
24. 
    
25. #url='https://asos.tmall.com/search.htm?spm=a1z10.5-b.w4011-5044691060.102.QqiXRs&search=y&orderType=defaultSort&pageNo=2&tsearch=y'
    
26. #url=urllib.quote_plus(url,safe=':\'/?&=()')
    
27. headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER'                }
    
28. request = urllib2.Request(url,headers)
    
29. 
    
30. 
    
31. try:
    
32.     response = urllib2.urlopen(url)
    
33.     html=response.read()
    
34.     print html
    
35. except urllib2.URLError,e:
    
36.     print e.reason

复制代码

The HTTP server returned a redirect error that would lead to an infinite loop.
The last 30x error message was:
Found
Python2.7.5，Windows7