介绍一个效率爆表的数据采集框架

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

作者：俊欣

来源：关于数据分析与可视化

今天我们来聊一下如何用协程来进行数据的抓取，协程又称为是微线程，也被称为是用户级线程，在单线程的情况下完成多任务，多个任务按照一定顺序交替执行。

那么aiohttp模块在Python中作为异步的HTTP客户端/服务端框架，是基于asyncio的异步模块，可以用于实现异步爬虫，更快于requests的同步爬虫。下面我们就通过一个具体的案例来看一下该模块到底是如何实现异步爬虫的。

发起请求

我们先来看一下发起请求的部分，代码如下

1. async def fetch(url, session): try: async with session.get(url, headers=headers, verify_ssl=False) as resp: if resp.status in [200, 201]:
   
2.                 logger.info("请求成功")
   
3.                 data = await resp.text() return data except Exception as e:
   
4.         print(e)
   
5.         logger.warning(e)

复制代码

要是返回的状态码是200或者是201，则获取响应内容，下一步我们便是对响应内容的解析

响应内容解析

这里用到的是PyQuery模块来对响应的内容进行解析，代码如下

def extract_elements(source): try:        dom = etree.HTML(source)        id = dom.xpath('......')[0]        title = dom.xpath('......')[0]        price = dom.xpath('.......')[0]        information = dict(re.compile('.......').findall(source))        information.update(title=title, price=price, url=id)        print(information)        asyncio.ensure_future(save_to_database(information, pool=pool)) except Exception as e:        print('解析详情页出错！')        logger.warning('解析详情页出错！') pass

最后则是将解析出来的内容存入至数据库当中

数据存储

这里用到的是aiomysql模块，使用异步IO的方式保存数据到Mysql当中，要是不存在对应的数据表，我们则创建对应的表格，代码如下

1. async def save_to_database(information, pool):

复制代码

项目的启动

最后我们来看一下项目启动的代码，如下

1. async def consumer():
   
2.     async with aiohttp.ClientSession() as session: while not stop: if len(urls) != 0:
   
3.                 _url = urls.pop() source = await fetch(_url, session)
   
4.                 extract_links(source) if len(links_detail) == 0:
   
5.                 print('目前没有待爬取的链接')
   
6.                 await asyncio.sleep(np.random.randint(5, 10))
   
7.                 continue link = links_detail.pop() if link not in crawled_links_detail:
   
8.                 asyncio.ensure_future(handle_elements(link, session))

复制代码

我们通过调用ensure_future方法来安排协程的进行

1. async def handle_elements(link, session): print('开始获取: {}'.format(link))
   
2.     source = await fetch(link, session) # 添加到已爬取的集合中 crawled_links_detail.add(link)
   
3.     extract_elements(source)

复制代码

数据分析与可视化

下面我们针对抓取到的数据进行进一步的分析与可视化，数据源是关于上海的二手房的相关信息，我们先来看一下房屋户型的分布，代码如下

1. house_size_dict = {}
   
2. for house_size, num in zip(df["房屋户型"].value_counts().head(10).index, df["房屋户型"].value_counts().head(10).tolist()):
   
3.     house_size_dict[house_size] = num
   
4. 
   
5. print(house_size_dict)
   
6. 
   
7. house_size_keys_list = [key for key, values in house_size_dict.items()]
   
8. house_size_values_list = [values for key, values in house_size_dict.items()]
   
9. 
   
10. p = (
    
11.     Pie(init_opts=opts.InitOpts(theme=ThemeType.LIGHT))
    
12.         .add("", [list(z) for z in zip(house_size_keys_list, house_size_values_list)],
    
13.              radius=["35%", "58%"],
    
14.              center=["58%", "42%"])
    
15.         .set_global_opts(title_opts=opts.TitleOpts(title="房屋面积大小的区间", pos_left="40%"),
    
16.                          legend_opts=opts.LegendOpts(orient="vertical",
    
17.                                                      pos_top="15%",
    
18.                                                      pos_left="10%"))
    
19.         .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
    
20. )
    
21. 
    
22. p.render("house_size.html")
    
23. output

复制代码

我们可以看到占到大多数的都是“2室1厅1厨1卫”的户型，其次便是“1室1厅1厨1卫”的户型，可见上海二手房交易的市场卖的小户型为主。而他们的所在楼层，大多也是在高楼层(共6层)的为主，如下图所示

我们再来看一下房屋的装修情况，市场上的二手房大多都是以“简装”或者是“精装”为主，很少会看到“毛坯”的存在，具体如下图所示

至此，我们就暂时先说到这里，本篇文章主要是通过异步协程的方式来进行数据的抓取，相比较于常规的requests数据抓取而言，速度会更快一些。

相关帖子DA内容精选 2022年300个以上最佳免费数据科学课 大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！ 机器学习模型方法总结 历史最全机器学习/深度学习/人工智能专业术语表中英对照表 机器学习如何应用于商业场景？三个真实的商业项目 数据工作者的自我修养 | 哪些技能是必不可少的？ 《汗牛充栋：数据分析书籍分享》CDA网校新课上线 文本挖掘常用的107个语料库 一图读懂“东数西算”工程 零基础转行数据分析，看这篇文章就够了

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：数据采集 information Informatio formation exception