爬虫大法：空气质量数据的爬取

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

十八大以来，国家开始了一系列治理环境的举措；2015年柴静《穹顶之下》火爆全网，公众开始密切关注PM2.5问题。自此，环境经济学开始了逆袭之旅，从一个冷门学科一跃成为了热门学科。
空气质量数据学者们经常使用的数据之一，但是统计年鉴中很难找到地级市层面的空气质量数据。哪里会提供呢？其实，大家只要百度“PM2.5数据”就会发现中国空气质量在线监测分析平台（https://www.aqistudy.cn/historydata/）提供了全国384个城市和地区详细的空气质量数据。

今天给大家分享的就是爬取中国空气质量在线监测分析平台数据的爬虫程序。这个爬虫程序的思路就是先爬取城市名，然后再爬取各个城市的空气质量数据。因为这个网站网址命名规则是这样的：

https://www.aqistudy.cn/historydata/monthdata.php?city=上海

https://www.aqistudy.cn/historydata/monthdata.php?city=北京

…….

根据上面的思路，经过反复测试，使用下面的代码爬取了384个城市和地区2013年12月至2020年4月的空气质量数据（部分城市是2014年或更晚才有数据）：

1. import requests
   
2. from lxml import etree
   
3. import urllib.parse
   
4. headers = {
   
5.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.204 Safari/537.36'
   
6. }
   
7. url = "https://www.aqistudy.cn/historydata/"
   
8. response = requests.get(url, headers=headers)
   
9. text = response.content.decode('utf-8')
   
10. html = etree.HTML(text)
    
11. city_set = list()
    
12. citys = html.xpath("//div[@class='all']/div/ul")
    
13. for city in citys:
    
14.     messages = city.xpath(".//li")
    
15.     for message in messages:
    
16.         city_name = message.xpath(".//a/text()")
    
17.         city_name = "".join(city_name)
    
18.         # print(city_name)
    
19.         city_set.append(city_name)
    
20. print(city_set)
    
21. 
    
22. import time
    
23. from urllib import parse
    
24. import pandas as pd
    
25. from selenium import webdriver
    
26. driver = webdriver.PhantomJS(r'D:/爬虫下载/phantomjs-2.1.1-windows\bin\phantomjs.exe')
    
27. base_url = 'https://www.aqistudy.cn/historydata/monthdata.php?city='
    
28. for k in range(0,len(city_set)):
    
29.     city = city_set[k]
    
30.     print(city)
    
31.     weburl = ('%s%s' % (base_url, parse.quote(city)))
    
32.     print(weburl)
    
33.     driver.get(weburl)
    
34.     time.sleep(1)
    
35.     dfs = pd.read_html(driver.page_source,header=0)[0]
    
36.     time.sleep(0.5)
    
37.     dfs.to_csv(r'D:\爬虫下载\空气质量\%s.csv'% (str(city)),mode='a+',encoding='utf_8_sig')
    
38.     # dfs.to_csv(r'D:\爬虫下载\空气质量\pm25.csv', mode='a+', encoding='utf_8_sig', index=0)
    
39. driver.quit()
    
40. print ('爬虫已经爬完！请检测！')

复制代码

今天给大家分享的是月度空气质量数据，需要数据的朋友可以在公众号【功夫计量经济学】看到获取方式。昨天尝试了一下爬取精确到天的数据，由于数据量太大，足足爬了将近七八个小时，我可能后面要优化一下程序再分享给大家。

说明：因为网站上实际上没有部分城市和地区的空气质量数据（具体是保亭、白沙、昌江、澄迈、儋州、定安、东方、乐东、临高、陵水、琼海、琼中、屯昌、万宁、文昌和五指山这16个城市和地区），所以这些城市和地区爬取下来的会是空白。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏5 回帖

好厉害！！

请问有省级月度二氧化氮数据吗？