Python 爬虫实践：《战狼2》豆瓣影评分析

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

摘要: 刚接触python不久，做一个小项目来练练手。前几天看了《战狼2》，发现它在最新上映的电影里面是排行第一的，如下图所示。准备把豆瓣上对它的影评做一个分析。第一个参数为需要提取数据的html，第二个参数是指定解析 ...

本帖隐藏的内容

Python 爬虫实践：《战狼2》豆瓣影评分析.pdf (2.13 MB)

2017-8-27 05:24:34 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏4 回帖

关键词：python hide HTML HID IDE

1. #coding:utf-8
   
2. __author__ = 'hang'
   
3. 
   
4. import warnings
   
5. warnings.filterwarnings("ignore")
   
6. import jieba    #分词包
   
7. import numpy    #numpy计算包
   
8. import codecs   #codecs提供的open方法来指定打开的文件的语言编码，它会在读取的时候自动转换为内部unicode
   
9. import re
   
10. import pandas as pd  
    
11. import matplotlib.pyplot as plt
    
12. from urllib import request
    
13. from bs4 import BeautifulSoup as bs
    
14. %matplotlib inline
    
15. 
    
16. import matplotlib
    
17. matplotlib.rcParams['figure.figsize'] = (10.0, 5.0)
    
18. from wordcloud import WordCloud#词云包
    
19. 
    
20. #分析网页函数
    
21. def getNowPlayingMovie_list():   
    
22.     resp = request.urlopen('https://movie.douban.com/nowplaying/hangzhou/')        
    
23.     html_data = resp.read().decode('utf-8')   
    
24.     soup = bs(html_data, 'html.parser')   
    
25.     nowplaying_movie = soup.find_all('div', id='nowplaying')        
    
26.     nowplaying_movie_list = nowplaying_movie[0].find_all('li', class_='list-item')   
    
27.     nowplaying_list = []   
    
28.     for item in nowplaying_movie_list:        
    
29.         nowplaying_dict = {}        
    
30.         nowplaying_dict['id'] = item['data-subject']      
    
31.         for tag_img_item in item.find_all('img'):            
    
32.             nowplaying_dict['name'] = tag_img_item['alt']            
    
33.             nowplaying_list.append(nowplaying_dict)   
    
34.     return nowplaying_list
    
35. 
    
36. #爬取评论函数
    
37. def getCommentsById(movieId, pageNum):
    
38.     eachCommentList = [];
    
39.     if pageNum>0:
    
40.          start = (pageNum-1) * 20
    
41.     else:
    
42.         return False
    
43.     requrl = 'https://movie.douban.com/subject/' + movieId + '/comments' +'?' +'start=' + str(start) + '&limit=20'
    
44.     print(requrl)
    
45.     resp = request.urlopen(requrl)
    
46.     html_data = resp.read().decode('utf-8')
    
47.     soup = bs(html_data, 'html.parser')
    
48.     comment_div_lits = soup.find_all('div', class_='comment')
    
49.     for item in comment_div_lits:
    
50.         if item.find_all('p')[0].string is not None:     
    
51.             eachCommentList.append(item.find_all('p')[0].string)
    
52.     return eachCommentList
    
53. 
    
54. def main():
    
55.     #循环获取第一个电影的前10页评论
    
56.     commentList = []
    
57.     NowPlayingMovie_list = getNowPlayingMovie_list()
    
58.     for i in range(10):   
    
59.         num = i + 1
    
60.         commentList_temp = getCommentsById(NowPlayingMovie_list[0]['id'], num)
    
61.         commentList.append(commentList_temp)
    
62. 
    
63.     #将列表中的数据转换为字符串
    
64.     comments = ''
    
65.     for k in range(len(commentList)):
    
66.         comments = comments + (str(commentList[k])).strip()
    
67. 
    
68.     #使用正则表达式去除标点符号
    
69.     pattern = re.compile(r'[\u4e00-\u9fa5]+')
    
70.     filterdata = re.findall(pattern, comments)
    
71.     cleaned_comments = ''.join(filterdata)
    
72. 
    
73.     #使用结巴分词进行中文分词
    
74.     segment = jieba.lcut(cleaned_comments)
    
75.     words_df=pd.DataFrame({'segment':segment})
    
76. 
    
77.     #去掉停用词
    
78.     stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep="\t",names=['stopword'], encoding='utf-8')#quoting=3全不引用
    
79.     words_df=words_df[~words_df.segment.isin(stopwords.stopword)]
    
80. 
    
81.     #统计词频
    
82.     words_stat=words_df.groupby(by=['segment'])['segment'].agg({"计数":numpy.size})
    
83.     words_stat=words_stat.reset_index().sort_values(by=["计数"],ascending=False)
    
84. 
    
85.     #用词云进行显示
    
86.     wordcloud=WordCloud(font_path="simhei.ttf",background_color="white",max_font_size=80)
    
87.     word_frequence = {x[0]:x[1] for x in words_stat.head(1000).values}
    
88. 
    
89.     word_frequence_list = []
    
90.     for key in word_frequence:
    
91.         temp = (key,word_frequence[key])
    
92.         word_frequence_list.append(temp)
    
93. 
    
94.     wordcloud=wordcloud.fit_words(word_frequence_list)
    
95.     plt.imshow(wordcloud)
    
96. 
    
97. #主函数
    
98. main()

复制代码

不错的体验

6666666666666666

6666666666666666

谢谢楼主分享！

谢谢分享！

66666666666

谢谢分享