实现目标:采集美团商家店铺及评分评论数据信息保存csv文件
包含:
(1) 程序源代码
(2) 完整的视频教程,全过程指导
[环境使用]:
Python 3.8
Pycharm
[模块使用]:
requests >>> pip install requests
re
csv
一. 数据来源分析:
1. 明确需求
- 明确采集的网站是什么?
https://chs.meituan.com/s/%E4%BC%9A%E6%89%80/
- 明确采集的数据是什么?
店铺相关基本信息: 名字评分 价格 电话 地址....
2. 抓包分析 --> 分析我们想要的这些数据内容, 是可以请求那个url地址获得
- 打开开发者工具: F12/ 鼠标右键点击检查选择network
- 点击第二页, 加载数据内容
- 通过关键字搜索数据包: 要什么数据, 就搜索什么数据
二. 代码实现步骤:
1. 发送请求, 模拟浏览器对于url地址发送请求
https://apimobile.meituan.com/group/v4/poi/pcsearch/70?uuid=96400d5c22654c1ebab0.1673674612.1.0.0&userid=266252179&limit=32&offset=32&cateId=-1&q=%E4%BC%9A%E6%89%80&token=AgFHIZfUHrX2s0GMpFtnoyfuLD8bUenO0ha9JWhb5IsTCwFwXNzBU4ldg8CN9QMIK25D5qyLKi9EtgAAAAD9FQAAdWFHN2OwTviH1XTBbREUZeZs1PRWrgfMd7BvE8gGTmwW9XP7MBOUhGPXguiKaCM6
2. 获取数据, 获取服务器返回响应数据
开发者工具: response
3. 解析数据, 提取我们想要的数据内容
- 店铺基本信息
4. 保存数据, 把数据保存csv表格里面
dit = {
'店名':index['title'],
'商圈': index['areaname'],
'店铺类型':index['backCateName'],
'评分':index['avgscore'],
'人均消费':index['avgprice'],
'最低消费':index['lowestprice'],
'评论':index['comments'],
'经度':index['longitude'],
'纬度':index['latitude'],
'地址': address,
'电话': phone,
'营业时间':openTime.replace('\\n', ''),
'详情页': link,
}
"""
Python爬虫程序源代码:采集美团商家店铺及评分评论数据信息保存csv文件网盘链接.docx
(52.21 KB, 需要: RMB 11 元)


雷达卡



京公网安备 11010802022788号







