[CDA3班] 【学习笔记】9.15打卡 Python爬虫基础 Part1-2 通用网络爬虫与聚焦爬虫的比较 ... [推广有奖]

5关注
14粉丝

讲师

15%

还不是VIP/贵宾

-

0%

威望: 0 级
论坛币: 2362 个
通用积分: 1017.9744
学术水平: 0 点
热心指数: 0 点
信用等级: 0 点
经验: 1845 点
帖子: 345
精华: 0
在线时间: 9 小时
注册时间: 2020-5-24
最后登录: 2021-11-12

楼主

田JL 发表于 2020-9-16 00:01:24 来自手机 |AI写论文

是否 +2 论坛币

k人参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

9.15打卡
Python爬虫基础 Part1-2
通用网络爬虫与聚焦爬虫的比较
通用网络爬虫尽可能多的采集信息页面，而在这一过程中，它并不太在意页面采集的顺序和被采集页面的相关主题，这需要消耗很多的系统资源和网络宽带，并且对这些资源的消耗并没有换来采集页面的较高利用率。
聚焦爬虫，尽可能快的爬行、采集尽可能多的与预先定义好的主题相关的网页。聚焦爬虫可以通过对整个Web按主题分块采集，并将不同块儿的采集结果整合到一起，以提高整个Web的采集覆盖率和页面利用率。
URL的搜索策略——基于IP地址搜索策略、广度优先搜索策略、深度优先搜索策略、最佳优先搜索策略 tmp_4a73af8cf44659535cd9cab7ca39dfaae062a796a1bd4760.jpg