现金悬赏，帮忙爬一个网站表格数据

求高手帮忙用python，最好别用scrapy，用request+lxml或其它爬取一个网站空气质量数据。https://www.aqistudy.cn/historydata/daydata.php?city=%E6%88%90%E9%83%BD&month=201709。
该网页只能用chrome打开，其它网站打不开，而且chrome打开源码中没有想要的数据，不知道怎么办。
程序写的好的话加我好友，我再给100元红包答谢，非常感谢。

我大致贴个代码，具体的自己去完善吧（列名，城市循环、月份循环），数据我现在直接导出到excel中了，也可以直接入库，调df.to_sql就可以了，不过要加引擎(form sqlalchemy import create_engine engine=create_engine(url))
from selenium import webdriver
import pandas as pd
dr = webdriver.Chrome()

dr.get('https://www.aqistudy.cn/historydata/daydata.php?city=%E6%88%90%E9%83%BD&month=201709')

trs =[]
for tr in dr.find_elements_by_css_selector('tr')[1:]:
    tds=[]
    for td in tr.find_elements_by_css_selector('td'):
        tds.append(td.text)
    trs.append(tds)
df = pd.DataFrame(trs)
df.to_csv('201709_成都.csv')
附上效果

我看了一下，没搞出来，如果楼主搞出来的，跟我说说。说三种解决方案
1、用selenium
2、换网站
3、用itchat通过微信公众号调

gjinwei 发表于 2017-10-31 23:07
我大致贴个代码，具体的自己去完善吧（列名，城市循环、月份循环），数据我现在直接导出到excel中了，也可以 ...

厉害啊 学习了

@gjinwei 的代码已经很好了，但是在爬大量网页时候应该用PhantomJS作为模拟浏览器。另外，我做了一点修改，能爬取多个城市多年的数据。楼主需要做的准备工作是配置好PhantomJS和selenium。

1. # -*- coding: utf-8 -*-
   
2. 
   
3. from selenium import webdriver
   
4. import pandas as pd
   
5. from urllib.parse import quote
   
6. 
   
7. city = ['成都', '杭州']
   
8. city_encode = [quote(i) for i in city]
   
9. 
   
10. # dr = webdriver.Chrome()
    
11. df = pd.DataFrame()
    
12. dr = webdriver.PhantomJS('/Applications/phantomjs/bin/phantomjs')
    
13. file_list = [str(year) + '{:0>2d}'.format(mon) for mon in range(1, 10) for year in range(2016, 2018)]
    
14. 
    
15. for i in range(len(city)):
    
16.     for file in file_list:
    
17.         dr.get('https://www.aqistudy.cn/historydata/daydata.php?city=' + city_encode[i]+ '&month=' + file)
    
18.         trs =[]
    
19.         for tr in dr.find_elements_by_css_selector('tr')[1:]:
    
20.             tds=[]
    
21.             for td in tr.find_elements_by_css_selector('td'):
    
22.                 tds.append(td.text)
    
23.             trs.append(tds)
    
24.         temp_df = pd.DataFrame(trs)
    
25.         temp_df['city'] = city[i]
    
26.         df = df.append(temp_df)

复制代码

用excel 2016中的数据查询，很方便搞定，只是一个网页要点几下

给个可用的版本，用了多线程，但要加载js,效率不高，解析时cpu占用比较高，线程数要根据自己的电脑来控制。用phantomjs也快不了多少，有兴趣可以尝试下。

1. # -*- coding:UTF-8 -*-
   
2. from threading import Thread
   
3. from queue import Queue
   
4. from datetime import datetime
   
5. from sqlalchemy import create_engine,String,Integer,DATE
   
6. from selenium import webdriver
   
7. from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
   
8. import pandas as pd
   
9. import time
   
10. 
    
11. engine = create_engine('sqlite:///PM25.db')
    
12. 
    
13. cities = ["北京", "上海", "天津", "重庆", "杭州", "哈尔滨", "长春", "沈阳", "石家庄", "太原", "西安", "济南", "乌鲁木齐", "拉萨", "西宁", "兰州", "银川", "郑州",
    
14.          "南京", "武汉", "合肥", "福州", "南昌", "长沙", "贵阳", "成都", "广州", "昆明", "南宁", "深圳"]
    
15. columns =['日期','AQI','质量等级','PM2.5','PM10','SO2','CO','NO2','O3_8h']
    
16. dtypes={
    
17.     "日期":String(12),
    
18.     "AQI":Integer,
    
19.     "质量等级":String(10),
    
20.     "PM2.5":Integer,
    
21.     "PM10":Integer,
    
22.     "SO2":Integer,
    
23.     "CO":Integer,
    
24.     "NO2":Integer,
    
25.     'O3_8h':Integer
    
26. }
    
27. 
    
28. 
    
29. def prepare_month(start,end,fmt='%Y%m'):
    
30.     date_range = pd.date_range(start=start,end=end,freq='M')
    
31.     months = [datetime.strftime(date, fmt) for date in date_range]
    
32.     return months
    
33. 
    
34. 
    
35. def get_data(tasks):
    
36.     # For chrome
    
37.     chrome_options = webdriver.ChromeOptions()
    
38.     chrome_options.add_experimental_option("prefs",{"profile.managed_default_content_settings.images":2})
    
39.     dr = webdriver.Chrome(chrome_options=chrome_options)
    
40. 
    
41.     # # For phantomjs
    
42. 
    
43.     # dcap = dict(DesiredCapabilities.PHANTOMJS)
    
44.     # dcap['phantomjs.page.settings.loadImages']=False
    
45.     # dr=webdriver.PhantomJS(desired_capabilities=dcap)
    
46. 
    
47.     while not tasks.empty():
    
48.         city,month = tasks.get()
    
49.         dr.get('https://www.aqistudy.cn/historydata/daydata.php?city={0}&month={1}'.format(city, month))
    
50.         time.sleep(2)
    
51.         trs = []
    
52.         for tr in dr.find_elements_by_css_selector('tr')[1:]:
    
53.             tds = []
    
54.             for td in tr.find_elements_by_css_selector('td'):
    
55.                 tds.append(td.text)
    
56.             trs.append(tds)
    
57.         df = pd.DataFrame(trs,columns=columns)
    
58.         df['city']=city
    
59.         df.to_sql("jiance", engine, if_exists='append', index=False,dtype=dtypes)
    
60.     dr.quit()
    
61. 
    
62. if __name__ == '__main__':
    
63.     threads=[]
    
64.     tasks=Queue()
    
65.     months=prepare_month(start='2013-12-1',end='2017-11-1')
    
66.     for city in cities:
    
67.         for month in months:
    
68.             tasks.put((city,month))
    
69.     for i in range(5):
    
70.         thread=Thread(target=get_data,args=(tasks,))
    
71.         threads.append(thread)
    
72.         thread.start()
    
73.     for thread in threads:
    
74.         thread.join()

复制代码

感谢藤椅的分享！！！