python爬虫程序源代码-链家房产去哪儿携程网机票豆瓣电影书籍小组相册小说下载分布式

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

python爬虫程序源代码-链家房产去哪儿携程网机票豆瓣电影书籍小组相册小说下载分布式爬虫
包含的爬虫程序源代码有：
distribute_crawler-master小说下载分布式爬虫.zip
DouBanSpider-master豆瓣爬虫.zip
doubanspiders-master豆瓣电影、书籍、小组、相册、东西等爬虫集.zip
findtrip-master机票爬虫（去哪儿和携程网）.zip
LianJiaSpider-master链家网爬虫.zip


python爬虫程序源代码-链家房产去哪儿携程网机票豆瓣电影书籍小组相册小说下载分布式爬虫.zip (23.49 MB, 需要: RMB 19 元) 本附件包括：

• distribute_crawler-master小说下载分布式爬虫.zip
• DouBanSpider-master豆瓣爬虫.zip
• doubanspiders-master豆瓣电影、书籍、小组、相册、东西等爬虫集.zip
• findtrip-master机票爬虫（去哪儿和携程网）.zip
• LianJiaSpider-master链家网爬虫.zip

2023-11-22 21:41:04 上传

需要: RMB 19 元  [购买]

例如：豆瓣爬书说明：

## 豆瓣读书爬虫

Python所写，豆瓣读书的爬虫，方便大家搜罗各种美美书！

### 更新

最近爬下了豆瓣所有的图书信息（3088633本，2138386KB），并做了一个界面方面与数据库交互来搜罗好书。注：这里的代码不是爬下所有书籍所用的代码，仅供参考。有机会的时候再公开代码和爬下的所有数据。


### 更新

最近爬书发现豆瓣的页面规则发生了变化，导致不能爬到评价人数，由此对代码进行了相应的更新，并爬了一些新的数据(并不全)。



### 实现功能

1 可以爬下豆瓣读书标签下的所有图书

2 按评分排名依次存储

3 存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet

4 采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封）

### 效果截图

试着小小运行了下，爬了七八万本书，结果在book_list.xlsx中

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：python爬虫 python 携程网机票 链家房产 小说下载