本文，使用requests库。

豆瓣电影TOP250排行的地址：

https://movie.douban.com/top250?start=

本次爬取，共分3个步骤：

1、获取单个页面的HTML

https://movie.douban.com/top250?start=

https://movie.douban.com/top250?start=25

2、对对个页面的HTML进行提取，在这里采用正则表达式进行提取，分别提取：电影排行，电影的详情地址，电影海报的图片，电影名称和电影评分。

如《肖申克的救赎》，则分别获取的内容包括：

（1）、电影排行，1

（2）、电影名称：肖申克的救赎

（3）、电影评分：9.7

（4）、电影详情：https://movie.douban.com/subject/1292052/

（5）、电影封面的地址：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg

利用正则表达式进行提取，并写入txt文件

3、将电影封面图片，写入到文件夹中。

附上源代码：

#使用正则表达式，抓取豆瓣电影TOP250的电影内容，包括：排名，电影的详情地址，电影封面图片，电影名称，电影评分；

import requests
import re
import time
import os

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) '
                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'
}


def get_page(url):#获取当前连接的HTML源代码
    response = requests.get(url)
    if response.status_code == 200:
        return response.text#返回HTML源代码
    return None


def parse_page(html, page):
    pattern = re.compile('<div class="item">.*?<em class="">(.*?)</em>.*?'
                         'href="(.*?)".*?'
                         'src="(.*?)".*?<div class="info">.*?'
                         '<span class="title">(.*?)</span>.*?'
                         'property="v:average">(.*?)</span>'
                         '', re.S)#正则表达式，获取的分别是 电影排行，电影详情的链接，电影封面的图片链接，电影名称，电影的评分
    items = re.findall(pattern, html)
    for item in items:
        write_file(item)
        save_image(item, page)


def save_image(item, page):
    img_response = requests.get(item[2])#item[2]即为图片的链接；
    print(item[2], img_response.status_code)
    filename = item[3] + '.' + str(item[2]).split('.')[-1]#图片名称：电影名称+.ipg
    dirnames = './img/{}'.format(page)#创建目录，目录名称为，0，25，50...225
    if not os.path.exists(dirnames):
        os.makedirs(dirnames)
    with open('{}/{}'.format(dirnames, filename), 'wb') as f:
        f.write(img_response.content)


def write_file(content):
    with open('douban_top250movie.txt', 'a') as f:
        f.write(str(content)+'\n')#电影排名，电影的详情链接，电影海报的图片，电影名称，电影评分，存入到txt文件中；


def main(start):
    url = 'https://movie.douban.com/top250?start=' + str(start)#top250电影排行榜的每个网页地址
    html = get_page(url)
    parse_page(html, start)


if __name__ == '__main__':
    for i in range(10):
        main(i*25)
        time.sleep(2)