使用Python打造你的豆瓣电影爬虫-经管之家官网！

坛友互助群

扫码加入各岗位、行业、专业交流群

使用Python打造你的豆瓣电影爬虫

1. 确定目标和工具

首先，明确爬虫的目标。常见的目标包括抓取豆瓣电影TOP250的详细信息（如电影海报、名称、链接、导演、演员、上映时间、地区、类型、评分和评价人数等），以及电影分类数据。常用的工具和技术栈包括Python编程语言、requests库用于发送HTTP请求、BeautifulSoup或lxml库用于解析HTML、MongoDB或SQLite用于存储数据、以及pandas和matplotlib用于数据处理和可视化。

2. 环境准备

确保安装了所需的Python库。可以通过pip安装这些库：

pip install requests beautifulsoup4 lxml openpyxl pandas matplotlib pymongo sqlite3 flask

3. 编写爬虫代码

以下是一个详细的爬虫示例，结合了多个证据中的方法：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import sqlite3

# 创建数据库连接
conn = sqlite3.connect('douban_movies.db')
cursor = conn.cursor()

# 创建表
cursor.execute('''
CREATE TABLE IF NOT EXISTS movies (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    title TEXT,
    director TEXT,
    actors TEXT,
    year TEXT,
    country TEXT,
    genre TEXT,
    rating REAL,
    votes INTEGER,
    link TEXT
)
''')

# 定义函数获取单页电影信息
def get_movie_info(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    movies = soup.find_all('div', class_='item')
    movie_list = []
    for movie in movies:
        title = movie.find('span', class_='title').text
        director_actors = movie.find('p', class_='').text.strip().split('\n')
        director = director_actors[0].split('导演: ')[1].split('主演: ')[0].strip()
        actors = director_actors[0].split('主演: ')[1].strip() if '主演:' in director_actors[0] else ''
        details = director_actors[1].strip().split('/')
        year = details[0].strip()
        country = details[1].strip()
        genre = details[2].strip()
        rating = float(movie.find('span', class_='rating_num').text)
        votes = int(movie.find('span', class_='').text.split('人评价')[0].replace(',', ''))
        link = movie.find('a')['href']
        movie_list.append((title, director, actors, year, country, genre, rating, votes, link))
    return movie_list

# 获取所有页面的电影信息
base_url = 'https://movie.douban.com/top250?start={}&filter='
all_movies = []
for i in range(10):
    url = base_url.format(i * 25)
    all_movies.extend(get_movie_info(url))

# 将数据插入数据库
cursor.executemany('''
INSERT INTO movies (title, director, actors, year, country, genre, rating, votes, link)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
''', all_movies)
conn.commit()

# 关闭数据库连接
conn.close()

# 将数据保存到CSV文件
df = pd.DataFrame(all_movies, columns=['title', 'director', 'actors', 'year', 'country', 'genre', 'rating', 'votes', 'link'])
df.to_csv('douban_top250_movies.csv', index=False)

# 数据可视化
import matplotlib.pyplot as plt

plt.figure(figsize=(10, 6))
plt.hist(df['rating'], bins=10, color='skyblue', edgecolor='black')
plt.title('Distribution of Movie Ratings')
plt.xlabel('Rating')
plt.ylabel('Frequency')
plt.show()

4. 处理异常情况

在实际爬取过程中，可能会遇到网络请求失败、网页结构变化等问题。可以通过增加异常处理机制来提高爬虫的稳定性。例如：

import time

def get_movie_info_with_retry(url, retries=3):
    for _ in range(retries):
        try:
            return get_movie_info(url)
        except Exception as e:
            print(f"Error: {e}, Retrying...")
            time.sleep(2)
    return []

5. 数据存储与可视化

爬取的数据可以存储在SQLite数据库中，也可以导出为CSV文件。使用pandas和matplotlib可以方便地进行数据处理和可视化。

6. 遵守反爬虫策略

为了防止被豆瓣封禁IP，可以采取以下措施：

• 使用代理IP池。
• 设置合理的请求间隔。
• 使用User-Agent池。
• 定期更换请求头信息。

7. 扩展功能

除了基本的电影信息爬取，还可以扩展功能，如：

• 爬取电影评论并进行情感分析。
• 构建推荐系统。
• 搭建API供其他应用使用。

通过以上步骤，你可以使用Python打造一个功能强大的豆瓣电影爬虫。希望这些信息对你有所帮助！

扫码或添加微信号：坛友素质互助

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP