按专业描绘美国学士学位女性占比变动

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

以下内容转自 数析学院，只节选了部分，有需要的同学可以直接查看原文

使用的数据抓取自 NCES database https://nces.ed.gov/programs/digest/current_tables.asp。
NCES 数据库可以作为 Excel 文件下载，但是我们不想处理一堆 Excel 文件，所以直接使用 BeautifulSoup  https://www.crummy.com/software/BeautifulSoup/ 来抓取 NCES 数据库网页。

1、获取 NCES 数据库数据

1. from bs4 import BeautifulSoup
   
2. import requests
   
3. 
   
4. with open('gender_degree_data.tsv', 'w') as out_file:
   
5. 
   
6.     out_file.write('\t'.join(['Year', 'Degree_Major',
   
7.                           'Total_Bachelors',
   
8.                           'Percent_change_Bachelors',
   
9.                           'Male_Bachelors', 'Female_Bachelors', 'Female_percent_Bachelors',
   
10.                           'Total_Masters', 'Male_Masters', 'Female_Masters',
    
11.                           'Total_Doctorates', 'Male_Doctorates', 'Female_Doctorates']) + '\n')
    
12. 
    
13.     table_list_response = requests.get('http://nces.ed.gov/programs/digest/current_tables.asp')
    
14.     table_list_response = BeautifulSoup(table_list_response.text, 'lxml')
    
15. 
    
16.     for link in table_list_response.find_all('a', href=True):
    
17.         # 我们只想按照学位和性别分层
    
18.         if 'dt15_325' in link['href'] and int(link.text.split('.')[1]) % 5 == 0:
    
19.             url = 'http://nces.ed.gov/programs/digest/{}'.format(link['href'])
    
20.             url_response = requests.get(url)
    
21.             url_response = BeautifulSoup(url_response.text, 'lxml')
    
22.             degree_major = url_response.find('title').text.split('Degrees in')
    
23.             [1].split('conferred')[0].strip()
    
24. 
    
25.             all_trs = url_response.find_all('tr')
    
26.             for tr in all_trs:
    
27.                 # 我们只想解析符合最近一年的条目
    
28.                 year_header = tr.find('th')
    
29.                 if year_header is None:
    
30.                     continue
    
31. 
    
32.                 # 在所有年的数据被列表化后停止解析
    
33.                 if 'Percent change' in year_header.text:
    
34.                     break
    
35. 
    
36.                 # Years 总会有一个破折号(-)  
    
37.                 if '-' not in year_header.text:
    
38.                     continue
    
39. 
    
40.                 year = str(int(year_header.text.split('-')[0]) + 1)
    
41.                 year_vals = [x.text.replace(',', '').replace('†', '0').replace('#', '0')
    
42.                              for x in tr.find_all('td')]
    
43. 
    
44.                 out_text = '\t'.join([year, degree_major] + year_vals) + '\n'
    
45.                 out_file.write(out_text)

复制代码

2、绘制不同专业学位女性占比

使用 matplotlib 实现可视化

1. %matplotlib inline
   
2. import matplotlib.pyplot as plt
   
3. import pandas as pd

复制代码

1. # 这是作者大部分绘图格式的自定义样式
   
2. plt.style.use('https://gist.githubusercontent.com/rhiever/a4fb39bfab4b33af0018/raw/b25b4ba478c2e163dd54fd5600e80ca7453459da/tableau20.mplstyle')
   
3. 
   
4. degree_gender_data = pd.read_csv('gender_degree_data.tsv', sep='\t')
   
5. degree_gender_data = degree_gender_data[degree_gender_data['Year'] >= 1970]
   
6. degree_gender_data.set_index('Year', inplace=True)

复制代码

1. # 按照在时间序列中最后一个值排序,创建专业学位的列表
   
2. # 使用这个 list 为专业学位分配颜色
   
3. degree_major_order = degree_gender_data.groupby('Degree_Major')['Female_percent_Bachelors'].last()
   
4. degree_major_order = degree_major_order.sort_values(ascending=False).index.values
   
5. degree_major_order_dict = dict(zip(degree_major_order, range(len(degree_major_order))))
   
6. 
   
7. degree_gender_data['Degree_Major_Order'] = degree_gender_data[
   
8.     'Degree_Major'].apply(lambda major: degree_major_order_dict[major])
   
9. 
   
10. degree_gender_data.groupby('Degree_Major_Order')['Female_percent_Bachelors'].plot(figsize=(10, 12))
    
11. 
    
12. plt.xlabel('')
    
13. plt.yticks(range(0, 91, 10), ['{}%'.format(x) for x in range(0, 91, 10)])

复制代码

以上内容转自 数析学院，后续更多内容可以直接查看原文

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：学士学位 Matplotlib beautiful response programs