用python爬取一个网页源码

https://asos.tmall.com/search.htm?spm=a1z10.5-b.w4011-5044691060.102.QqiXRs&search=y&orderType=defaultSort&pageNo=2&tsearch=y#anchor
求python代码，用python爬取此网页的源代码

顶一个

详细一点，就要这个页面还是要点这个页面的每个链接然后下载html，点开了链接之后需不需要在打开的页面里再把所有链接下载下来？

bxshi 发表于 2015-8-12 02:10
详细一点，就要这个页面还是要点这个页面的每个链接然后下载html，点开了链接之后需不需要在打开的页面里再 ...

不需要里面的链接，只需要这个页面的网页源码，我只会urllib但是打不开这个网页所以来求助，提取信息什么的我会。

明白了，这个问题是因为urllib不能好好处理302重定向导致的错误，你需要用requests包来抓数据。

代码如下：

1. import requests
   
2. r = requests.get('https://asos.world.tmall.com/search.htm?spm=a1z10.5-b.w41-5044691060.102.QqiXRs')
   
3. r.text

复制代码

import requests
r = requests.get('https://asos.world.tmall.com/search.htm?spm=a1z10.5-b.w41-5044691060.102.QqiXRs')
r.text

希望有帮助。

FYI, here is the quick start of requests:

http://docs.python-requests.org/en/latest/user/quickstart/#redirection-and-history

楼上的没有回答到点子上，之所以会出现这个错误，是因为你要访问的url是带参数的，
?后面的
spm=a1z10.5-b.w4011-5044691060.102.QqiXRs
&search=y
&orderType=defaultSort
&pageNo=2
&tsearch=y
#anchor
一共有这些个参数，不能用那种方式访问

shaode01 发表于 2015-8-13 21:38
楼上的没有回答到点子上，之所以会出现这个错误，是因为你要访问的url是带参数的，
?后面的
spm=a1z10.5- ...

把参数放到payload就可以了？我直接curl访问这个地址同样是302过多然后失败，请问你能否给一下代码？

bxshi 发表于 2015-8-13 22:10
把参数放到payload就可以了？我直接curl访问这个地址同样是302过多然后失败，请问你能否给一下代码？

我错了，这跟参数貌似没有关系，我访问天猫首页是没有问题的
https://www.tmall.com/?spm=a1z10.5-b.0.0.gAVjBC
你是在linux下？

bxshi 发表于 2015-8-13 22:10
把参数放到payload就可以了？我直接curl访问这个地址同样是302过多然后失败，请问你能否给一下代码？

直接访问天猫首页没有问题

1. https://www.tmall.com/?spm=a1z10.5-b.0.0.gAVjBC

复制代码