爬虫大法：日度空气质量数据的爬取

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

之前给大家分享了月度空气质量数据的爬虫程序，详见“爬虫大法：空气质量数据的爬取”一文。事实上，中国空气质量在线监测分析平台（https://www.aqistudy.cn/historydata/）也提供了全国384个城市和地区的日度空气质量数据，只是爬取下来程序更为复杂，耗费时间也会更长。

这个爬虫程序的思路还是先爬取城市名，构造网址，然后再通过网址爬取各个城市的日度空气质量数据。这个网站日度数据网址命名规则是这样的：

https://www.aqistudy.cn/historydata/daydata.php?city=北京&month=2015-01

https://www.aqistudy.cn/historydata/daydata.php?city=北京&month=2015-02

……

https://www.aqistudy.cn/historydata/daydata.php?city=上海&month=2015-01

https://www.aqistudy.cn/historydata/daydata.php?city=上海&month=2015-02

其实，很容易分解，就是初始网址+城市名+月份。有了思路之后，代码都是浮云了！飘了飘了！

1. import requests
   
2. from lxml import etree
   
3. headers = {
   
4.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.204 Safari/537.36'
   
5. }
   
6. url = "https://www.aqistudy.cn/historydata/"
   
7. response = requests.get(url, headers=headers)
   
8. text = response.content.decode('utf-8')
   
9. html = etree.HTML(text)
   
10. city_set = list()
    
11. citys = html.xpath("//div[@class='all']/div/ul")
    
12. for city in citys:
    
13.     messages = city.xpath(".//li")
    
14.     for message in messages:
    
15.         city_name = message.xpath(".//a/text()")
    
16.         city_name = "".join(city_name)
    
17.         # print(city_name)
    
18.         city_set.append(city_name)
    
19. print(city_set)
    
20. 
    
21. import time
    
22. from urllib import parse
    
23. import pandas as pd
    
24. from selenium import webdriver
    
25. driver = webdriver.PhantomJS(r'D:/爬虫下载/phantomjs-2.1.1-windows\bin\phantomjs.exe')
    
26. base_url = 'https://www.aqistudy.cn/historydata/daydata.php?city='
    
27. def get_month_set():
    
28.     month_set = list()
    
29.     # for i in range(1, 10):
    
30.     #     month_set.append(('2014-0%s' % i))
    
31.     # for i in range(10, 13):
    
32.     #     month_set.append(('2014-%s' % i))
    
33.     for i in range(1, 10):
    
34.         month_set.append(('2015-0%s' % i))
    
35.     for i in range(10, 13):
    
36.         month_set.append(('2015-%s' % i))
    
37.     for i in range(1, 10):
    
38.         month_set.append(('2016-0%s' % i))
    
39.     for i in range(10, 13):
    
40.         month_set.append(('2016-%s' % i))
    
41.     for i in range(1, 10):
    
42.         month_set.append(('2017-0%s' % i))
    
43.     for i in range(10, 13):
    
44.         month_set.append(('2017-%s' % i))
    
45.     for i in range(1, 10):
    
46.         month_set.append(('2018-0%s' % i))
    
47.     for i in range(10, 13):
    
48.         month_set.append(('2018-%s' % i))
    
49.     for i in range(1, 10):
    
50.         month_set.append(('2019-0%s' % i))
    
51.     for i in range(10, 13):
    
52.         month_set.append(('2019-%s' % i))
    
53.     for i in range(1, 5):
    
54.         month_set.append(('2020-0%s' % i))
    
55.     return month_set
    
56. month_set = get_month_set()
    
57. # print(month_set)
    
58. 
    
59. for k in range(0,len(city_set)):
    
60.     city = city_set[k]
    
61.     # fp = open(r'D:\爬虫下载\日空气质量\%s.csv'% (str(city)), 'a')
    
62.     # fp.write('%s,%s,%s,%s,%s,%s,%s,%s,%s,%s\n'%('序号','日期','AQI','grade','PM2.5','PM10','SO2','CO','NO2','O3'))#表头
    
63.     # fp.close()
    
64.     for i in range(len(month_set)):
    
65.         str_month = month_set[i]
    
66.         weburl = ('%s%s&month=%s' % (base_url, parse.quote(city), str_month))
    
67.         print(city,str_month)
    
68.         driver.get(weburl)
    
69.         time.sleep(3)
    
70.         dfs = pd.read_html(driver.page_source,header=0)[0]
    
71.         # time.sleep(0.5)#防止页面一带而过，爬不到内容
    
72.         dfs.to_csv(r'D:\爬虫下载\日空气质量\%s.csv' % (str(city)), mode='a+', encoding='utf_8_sig')
    
73. driver.quit()
    
74. print ('爬虫已经爬完！请检测！')

复制代码

有需要本期爬虫代码和爬取下来的日度空气质量数据的朋友，可以在公众号【功夫计量经济学】后台回复“AQI”，即可看到获取方式。为了感谢各位朋友的支持，月度空气质量数据的下载已经放开，不再需要转发，后台回复”PM2.5”即可看到下载链接。

数据说明：

（1）这次爬取的是384个城市和地区2015年1月1日到2020年4月30日的日度空气质量数据。但是，像有些地区比如西藏林芝、日喀则是2017年1月1日之后才有数据的。

（2）因为网站上实际上没有保亭、白沙、昌江、澄迈、儋州、定安、东方、乐东、临高、陵水、琼海、琼中、屯昌、万宁、文昌和五指山这16个城市和地区的空气质量数据，所以这些城市和地区爬取下来的会是空白，最终一共只有368个城市和地区的数据。

（3）这个网站事实上也存在数据缺失的问题，有些城市有些月份、有些日期是没有数据的。当然，缺失的相当少。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖