python爬虫HTTP中header中User-Agent的运用

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

   User-Agent ：简称 UA ，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本 浏览器及版本等信息 在做爬虫时加上此信息，可以伪装为浏览器；如果不加，很可能会被识别为爬虫。
1、查看某网页的Header,点击箭头指定的位置

2、2、点击工具》开发人员工具
3、点击Network,然后点击F5

4、查看到了User-Agent
5、python代码展现
import requestsfrom bs4 import BeautifulSouplink="https://movie.douban.com/top250"headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}r = requests.get(link, headers=headers)r.encoding = 'UTF-8'print(r.text)

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：python爬虫 python agent User Head

import requests
from bs4 import BeautifulSoup
link="https://movie.douban.com/top250"
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
r = requests.get(link, headers=headers)
r.encoding = 'UTF-8'
print(r.text)

joy0519 发表于 2019-2-2 11:18
User-Agent ：简称 UA ，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本 浏览器及版 ...

关注！！