Python爬虫入门：从零开始构建基础爬虫

Python爬虫，是指使用Python语言编写的程序，其主要功能是自动从互联网上抓取信息。随着互联网数据量的爆炸性增长，爬虫技术在数据挖掘、信息聚合、市场监测等领域扮演了重要角色。网络爬虫（Web Crawler），也称作网络蜘蛛（Spider）或网络机器人（Robot），是一种自动获取网页内容的程序。它的主要功能是从一个初始的URL出发，遵循网页中的链接，访问新的页面，并且收集页面数据。

小虾汉斯

2168人浏览 · 2025-07-25 10:11:32

小虾汉斯 · 2025-07-25 10:11:32 发布

本文还有配套的精品资源，点击获取

简介：Python爬虫允许从互联网自动抓取信息，用于数据分析、网站维护等。本教程将指导如何利用Python进行基础网络爬虫开发，包括学习爬虫原理、使用 requests 和 BeautifulSoup 库发起请求、解析HTML、提取和保存数据。同时，将探讨实际应用中的复杂情况处理、版权和合法性问题，并介绍了Scrapy框架，最后建议初学者如何入门和实践提升技能。
python简单爬虫（入门）

1. Python爬虫概念与应用

1.1 爬虫简介

Python爬虫，是指使用Python语言编写的程序，其主要功能是自动从互联网上抓取信息。随着互联网数据量的爆炸性增长，爬虫技术在数据挖掘、信息聚合、市场监测等领域扮演了重要角色。

1.2 应用场景

爬虫在日常生活中应用广泛，包括但不限于搜索引擎索引构建、价格监控、社交媒体分析等。它们可以帮助企业和个人从大量网络信息中提取有价值的数据。

1.3 发展趋势

随着技术的进步和相关法律法规的完善，爬虫技术也在不断演进。更加智能化、定制化的爬虫正逐渐成为主流，同时，对爬虫的道德和法律约束也越来越受到重视。

在接下来的章节中，我们将深入了解爬虫的工作原理、基本操作，以及如何高效地应用爬虫技术。

2. 爬虫基本原理及HTTP请求

2.1 爬虫的工作原理

2.1.1 爬虫的定义和功能

网络爬虫（Web Crawler），也称作网络蜘蛛（Spider）或网络机器人（Robot），是一种自动获取网页内容的程序。它的主要功能是从一个初始的URL出发，遵循网页中的链接，访问新的页面，并且收集页面数据。它能够将互联网中大量的数据信息自动化地进行收集，分类和存储，从而用于数据挖掘、搜索引擎索引、在线购物比价、市场分析、新闻网站内容更新等多种应用。

2.1.2 爬虫的工作流程

网络爬虫的基本工作流程一般包括以下几个步骤：

初始化 : 爬虫从一个初始的URL列表开始，这些URL可能来自种子列表、用户输入或是由爬虫自行发现。
抓取 : 根据URL访问目标网站，获取网页内容。这一过程涉及到发送HTTP请求，接收响应，并将响应内容存储下来。
解析 : 对获取到的HTML文档进行解析，提取出新的URL链接和需要抓取的数据信息。
存储 : 将提取到的数据保存到文件、数据库或其他存储系统中。
控制 : 包括去重、维护URL队列、设置抓取频率、遵守robots.txt协议等。

2.2 HTTP请求的发送和处理

2.2.1 HTTP协议基础

超文本传输协议（HTTP）是一种用于分布式、协作式和超媒体信息系统的应用层协议。它是互联网上应用最为广泛的一种网络协议，用于从万维网服务器传输超文本到本地浏览器的传送协议。

HTTP协议的主要特点有：

无状态 : HTTP协议是无状态协议，它不对之前发送过的请求和响应的状态进行持久化处理。
基于请求/响应 : HTTP是一个基于请求/响应模式的协议，客户端发送一个请求，服务器返回响应数据。
简单快速 : 客户端向服务器请求服务时，只需要传送请求方法和路径。
灵活 : HTTP允许传输任意类型的数据对象，文档、图片或其他类型。

2.2.2 使用 `requests` 库发送请求

requests 是一个Python第三方库，用于发送HTTP请求。它比Python标准库中的 urllib 更为简洁易用，支持多种内容类型的请求和响应处理。

安装 requests 库的命令为：

pip install requests

使用 requests 库发送GET请求的代码示例：

import requests

url = 'http://example.com'
response = requests.get(url)

print(response.status_code) # 打印HTTP响应状态码
print(response.text) # 打印获取到的内容

这个代码块首先导入 requests 库，然后使用 requests.get 方法向指定URL发送GET请求。通过 response 对象可以获取到返回的状态码和内容。状态码为200表示请求成功，返回的内容通过 text 属性获取。

2.2.3 响应数据的接收与解析

当爬虫成功获取到服务器响应的数据后，需要对这些数据进行解析，提取出需要的信息。常用的解析方法包括XML解析、JSON解析和HTML解析。

使用 requests 库接收响应数据示例：

import requests
import json

url = 'http://example.com/api/data'
response = requests.get(url)

if response.status_code == 200:
    # 尝试将响应内容解析为JSON格式
    data = response.json()
    print(data)
else:
    print('请求失败，状态码:', response.status_code)

在这个代码块中，我们使用 response.json() 方法来解析JSON格式的数据。如果响应内容是JSON格式， json() 方法会将JSON字符串转换成Python字典。

对于HTML数据的解析，爬虫通常会使用 BeautifulSoup 或 lxml 等第三方库来提取和解析所需信息。这将在下一章节详细讨论。

3. HTML解析与数据提取

3.1 HTML解析工具介绍

3.1.1 `BeautifulSoup` 的安装与使用

BeautifulSoup 是 Python 中的一个库，专门用于解析 HTML 和 XML 文档。它通过将复杂的 HTML 或 XML 文档转换为一个复杂的树形结构，每个节点都是 Python 对象，所有对象可以归纳为四种类型：标签、导航树、注释和文本。使用 BeautifulSoup 可以轻松地遍历、搜索和修改解析树，这使得 BeautifulSoup 成为数据提取的首选工具之一。

安装

安装 BeautifulSoup 很简单，只需要执行以下命令：

pip install beautifulsoup4

同时，为了进行 HTTP 请求，通常需要配合 requests 库一起使用。

使用示例

下面是一个简单的使用示例：

from bs4 import BeautifulSoup
import requests

# 获取网页内容
url = 'http://example.com'
response = requests.get(url)
html = response.text

# 创建BeautifulSoup对象
soup = BeautifulSoup(html, 'html.parser')

# 提取网页标题
title = soup.find('title').get_text()
print(title)

详细解析

requests.get(url) ：通过 requests 库发送 GET 请求，获取网页内容。
BeautifulSoup(html, 'html.parser') ：创建一个 BeautifulSoup 对象， html 是要解析的网页内容， 'html.parser' 指定了使用的解析器。
soup.find('title') ：在 HTML 树中查找第一个 <title> 标签。
.get_text() ：获取标签中的文本内容。

3.1.2 `lxml` 的安装与使用

lxml 是另一个强大的 HTML 解析库，比 BeautifulSoup 的解析速度快，使用起来也很方便。它还支持 XPath 表达式，能够快速准确地定位到页面中的特定元素。

安装

安装 lxml 可以使用以下命令：

pip install lxml

使用示例

from lxml import etree

# 简单的 HTML 内容
html_content = """
<html>
<head>
<title>Test Page</title>
</head>
<body>
<h1>Hello World!</h1>
<p>This is a paragraph.</p>
</body>
</html>

# 解析 HTML 内容
tree = etree.HTML(html_content)

# 使用 XPath 表达式提取标题文本
title_text = tree.xpath('//title/text()')[0]
print(title_text)

# 使用 XPath 表达式提取段落文本
paragraph_text = tree.xpath('//p/text()')[0]
print(paragraph_text)

详细解析

etree.HTML(html_content) ：使用 lxml 的 HTML 解析器来解析字符串形式的 HTML 内容。
tree.xpath('//title/text()') ：使用 XPath 表达式获取所有 <title> 标签内的文本内容。注意，XPath 表达式前缀 // 表示在文档中从当前节点选择匹配的节点，而 /text() 表示选择所有文本节点。
[0] ：获取返回列表中的第一个结果。

3.2 数据提取与处理技巧

3.2.1 使用CSS选择器提取信息

CSS选择器是一种非常强大的工具，可以使用简单的字符串来选择 HTML 树中的特定元素。在 BeautifulSoup 中， select 和 select_one 方法允许使用 CSS 选择器来查询元素。

示例代码

from bs4 import BeautifulSoup

# HTML 内容
html_content = """
<html>
<head>
<title>Test Page</title>
</head>
<body>
<h1 class="title">Hello World!</h1>
<p class="content">This is a paragraph.</p>
</body>
</html>

# 创建 BeautifulSoup 对象
soup = BeautifulSoup(html_content, 'html.parser')

# 使用 CSS 选择器提取标题和段落文本
title = soup.select_one('.title').text
content = soup.select_one('.content').text

print('Title:', title)
print('Content:', content)

3.2.2 使用XPath提取信息

XPath 是另一种在 XML 文档中查找信息的语言，它也常用于 HTML。 lxml 库提供了对 XPath 的支持，而 BeautifulSoup 可以通过安装 lxml 作为解析器来使用 XPath。

示例代码

from bs4 import BeautifulSoup

# HTML 内容
html_content = """
<html>
<head>
<title>Test Page</title>
</head>
<body>
<h1 class="title">Hello World!</h1>
<p class="content">This is a paragraph.</p>
</body>
</html>

# 创建 BeautifulSoup 对象
soup = BeautifulSoup(html_content, 'lxml')

# 使用 XPath 提取标题和段落文本
title = soup.select('.title')
content = soup.select('.content')

print('Title:', title[0].text if title else 'Not Found')
print('Content:', content[0].text if content else 'Not Found')

3.2.3 数据清洗与格式化

在数据提取之后，通常需要进行数据清洗与格式化，以确保数据的准确性和一致性。 BeautifulSoup 和 lxml 都提供了相应的方法来帮助我们完成这一步骤。

示例代码

from bs4 import BeautifulSoup
import re

# HTML 内容
html_content = """
<html>
<head>
<title>Test Page</title>
</head>
<body>
<h1 class="title">Hello World!</h1>
<p class="content">This is a paragraph with 123 numbers.</p>
</body>
</html>

# 创建 BeautifulSoup 对象
soup = BeautifulSoup(html_content, 'html.parser')

# 提取段落文本并使用正则表达式删除数字
paragraph_text = soup.select_one('.content').text
cleaned_text = re.sub(r'\d+', '', paragraph_text)

print('Original:', paragraph_text)
print('Cleaned:', cleaned_text)

详细解析

re.sub(r'\d+', '', paragraph_text) ：使用正则表达式将段落文本中的所有数字替换为空字符串，从而清除数字。

以上是 HTML 解析与数据提取的基础知识点，掌握了这些技能，就能够完成大多数简单的数据提取任务。在下一小节，我们将进一步学习如何使用更高级的选择器技巧来处理复杂的数据提取场景。

4. 数据保存及复杂情况处理

随着网络爬虫技术的发展，数据的提取与保存已成为自动化信息采集流程中不可或缺的一环。本章节将深入讨论多种数据保存的方法，并且探讨在遇到登录认证、分页数据爬取、动态内容加载等复杂情况时的处理策略。

4.1 数据保存方法

在完成网络数据的采集后，常常需要将这些数据保存到本地文件或者数据库中，以便进行进一步的分析或存储。数据保存的方法多样，本小节将重点介绍如何将爬取的数据保存到文本文件、数据库以及Excel和CSV文件中。

4.1.1 保存数据到文本文件

保存数据到文本文件是最简单的数据保存方法，适用于数据量不大且对数据格式要求不高的情况。Python中，可以使用内置的 open 函数和文件操作模式来完成这个任务。下面的代码展示了如何将爬取到的数据保存为文本文件：

# 使用with语句打开文件确保文件最后会被正确关闭
with open('output.txt', 'w', encoding='utf-8') as file:
    for item in爬取到的数据列表:
        # 将单条数据转换为字符串格式，并写入文件
        file.write(str(item) + '\n')

4.1.2 保存数据到数据库

相较于文本文件，数据库提供了更高级的数据管理和查询能力。常见的数据库有关系型数据库（如MySQL, PostgreSQL）和非关系型数据库（如MongoDB）。以SQLite数据库为例，以下是如何将数据保存到SQLite数据库中的示例代码：

import sqlite3

# 连接到SQLite数据库
# 数据库文件是test.db，如果文件不存在，会自动在当前目录创建:
conn = sqlite3.connect('test.db')
cursor = conn.cursor()

# 创建一个表:
cursor.execute('CREATE TABLE IF NOT EXISTS mydata (id VARCHAR(20) PRIMARY KEY, data VARCHAR(200))')

# 插入数据:
for item in 爬取到的数据列表:
    cursor.execute('INSERT INTO mydata (id, data) VALUES (?, ?)', (item['id'], item['data']))

# 提交事务:
conn.commit()

# 关闭Cursor和Connection:
cursor.close()
conn.close()

4.1.3 保存数据到Excel和CSV文件

Excel和CSV文件非常适合进行数据的分享和进一步处理。使用 pandas 库可以很方便地将数据保存到CSV和Excel文件中。首先需要安装 pandas 库：

pip install pandas

然后可以使用以下代码来保存数据：

import pandas as pd

# 将爬取到的数据转换为pandas的DataFrame
data = pd.DataFrame(爬取到的数据列表)

# 保存为CSV文件
data.to_csv('output.csv', index=False, encoding='utf-8-sig')

# 保存为Excel文件
data.to_excel('output.xlsx', index=False)

pandas 库提供的方法不仅节省了代码，还能轻松地处理大量数据，是非常实用的一个工具。

4.2 复杂情况处理策略

在实际的网络爬虫项目中，除了需要处理数据保存的基本流程，还必须应对网络环境中的各种复杂情况。以下是几种常见复杂情况的处理策略。

4.2.1 处理登录认证

许多网站的数据是通过登录认证后才能访问的。处理登录认证的策略通常有以下几种：

会话跟踪 ：使用会话跟踪状态，维持登录状态。
存储登录凭证 ：保存cookies或者令牌（token）等信息，用于后续的请求认证。
模拟登录 ：使用登录页面的表单数据，模拟浏览器操作进行登录。

使用 requests 库中的session对象可以帮助我们维护一个会话状态，实现登录状态的持久化：

import requests

session = requests.Session()
session.post('login_url', data={'username': 'your_username', 'password': 'your_password'})
# 通过session对象发送请求，之前的登录信息会自动携带
response = session.get('content_url')

4.2.2 分页数据的爬取

网站中常见的数据结构之一就是分页。为了爬取分页数据，我们需要编写一个循环来逐页获取数据。以一个假想的分页URL为例：

url = 'http://example.com/data?page='
for page_num in range(1, total_pages+1):
    response = requests.get(f'{url}{page_num}')
    # 处理响应内容...

这里的 total_pages 是一个预先设定的总页数，也可以在循环中动态确定。

4.2.3 动态加载内容的爬取

随着Web技术的发展，越来越多的网站采用了动态加载技术，内容通过JavaScript异步加载。对于这类网站，仅使用传统的HTTP请求无法获取到所有数据。解决方案包括：

分析API请求 ：使用浏览器的开发者工具找到数据加载所依赖的API请求，并模拟这些请求。
使用Selenium ：Selenium可以模拟浏览器的全部行为，自动执行JavaScript，从而获取到完整的页面内容。

下面是一个使用 Selenium 和 Chrome WebDriver 来爬取动态内容的示例：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager

# 设置Selenium使用Chrome WebDriver
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)

# 访问动态加载内容的页面
driver.get('http://example.com/dynamic_content')

# 使用Selenium提供的元素选择方法获取数据
data = driver.find_elements(By.CLASS_NAME, 'data_class')

# 解析data...

# 关闭浏览器
driver.quit()

以上内容通过逐层深入的讲解，展示了网络爬虫数据保存的方法和复杂情况的应对策略。理解并掌握这些技能对提高爬虫项目的效率与稳定性至关重要。

5. 爬虫策略与合法合规问题

爬虫在数据抓取方面发挥着至关重要的作用，但策略和合法合规问题同样不容忽视。本章将深入探讨如何优化爬虫性能，避免可能的法律风险，并对Scrapy框架进行简要介绍。

5.1 爬虫策略与性能优化

5.1.1 提高爬虫效率的策略

爬虫效率的提升不仅仅依赖于强大的硬件支持，合理的设计和策略同样关键。以下是一些提升爬虫效率的策略：

多线程和异步处理 ：利用Python的 threading 模块或 asyncio 库，同时发起多个网络请求，提升数据抓取速度。
请求间隔设置 ：合理安排请求之间的间隔时间，避免因短时间内大量请求而被服务器封禁。
分布式爬虫 ：采用分布式架构，利用多台机器协同工作，可显著提高数据抓取的效率和稳定性。

5.1.2 避免被封禁的措施

为了减少被封禁的风险，应采取以下措施：

用户代理（User-Agent）的伪装 ：设置不同的User-Agent，模拟普通用户的行为，减少被识别为爬虫的可能。
IP代理池的使用 ：建立IP代理池，通过轮换IP地址，降低单个IP因频繁请求而被封的风险。
遵守robots.txt文件 ：解析目标网站的robots.txt文件，确保爬虫遵守其爬取规则。

5.2 合法合规与道德约束

5.2.1 遵守Robots协议

Robots协议是网站主人对其网站爬虫访问权限的声明，它告诉爬虫哪些页面可以抓取，哪些不可以。遵守Robots协议是每个爬虫开发者的基本道德准则。

5.2.2 避免侵犯版权和隐私

在进行网络爬虫开发时，应特别注意版权和隐私问题，避免从网站上抓取受版权保护的内容，以及个人信息。这一点在数据使用和存储时尤为重要。

5.3 Scrapy框架的简单介绍

5.3.1 Scrapy框架的基本概念

Scrapy是一个快速、高层次的网页抓取和网络爬虫框架，用于抓取网站并从页面中提取结构化的数据。它非常适合数据挖掘和信息抓取工作。

5.3.2 Scrapy框架的快速入门

安装Scrapy非常简单，仅需通过pip安装：

pip install scrapy

创建一个Scrapy项目的过程如下：

scrapy startproject myproject

cd myproject

生成一个爬虫：

scrapy genspider example example.com

编写爬虫逻辑，在 example.py 中：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com']

    def parse(self, response):
        # 提取数据的逻辑
        pass

运行爬虫：

scrapy crawl example

Scrapy提供了许多高级功能，如内置的下载器中间件、选择器、管道等，非常适合构建复杂的爬虫项目。

通过遵循上述策略和框架介绍，开发人员不仅能提高爬虫的性能和稳定性，还能确保合法合规地进行网络数据抓取，成为一名负责任的爬虫开发者。

本文还有配套的精品资源，点击获取

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

全家桶集齐！Qwen3.5四款小模型上线魔乐社区，附昇腾全套实践教程

魔乐社区

Pont - 搭建前后端之桥：高效、灵活的接口管理工具

Pont 是一款强大的数据服务层解决方案，它能够帮助开发者快速搭建前后端之间的桥梁，实现接口的高效管理和代码自动生成。无论是新手还是有经验的开发者，都能通过 Pont 轻松处理接口文档、生成类型安全的 API 代码，从而显著提升开发效率。[![Pont 工具标志](https://raw.gitcode.com/gh_mirrors/po/pont/raw/3f1b7d4bbba3fd2dda

魔乐社区

如何快速上手 hvac：HashiCorp Vault Python 客户端零基础入门指南

**hvac** 是 HashiCorp Vault 的 Python 3.X 客户端库，专为开发者提供简单高效的 Vault 交互方式。无论你是需要管理密钥、配置身份验证，还是实现安全的秘密数据存储，hvac 都能帮助你轻松搞定 Vault 的各项操作。本文将带你零基础快速入门，从安装到基础操作，让你在几分钟内即可上手使用这个强大的工具。[![hvac 客户端 Logo](https://r

魔乐社区

所有评论(0)

查看更多评论

小虾汉斯

@weixin_34392511

已为社区贡献23条内容

Python爬虫入门：从零开始构建基础爬虫

小虾汉斯

1. Python爬虫概念与应用

1.1 爬虫简介

1.2 应用场景

1.3 发展趋势

2. 爬虫基本原理及HTTP请求

2.1 爬虫的工作原理

2.1.1 爬虫的定义和功能

2.1.2 爬虫的工作流程

2.2 HTTP请求的发送和处理

2.2.1 HTTP协议基础

2.2.2 使用 requests 库发送请求

2.2.3 响应数据的接收与解析

3. HTML解析与数据提取

3.1 HTML解析工具介绍

3.1.1 BeautifulSoup 的安装与使用

安装

使用示例

详细解析

3.1.2 lxml 的安装与使用

安装

使用示例

详细解析

3.2 数据提取与处理技巧

3.2.1 使用CSS选择器提取信息

示例代码

3.2.2 使用XPath提取信息

示例代码

3.2.3 数据清洗与格式化

示例代码

详细解析

4. 数据保存及复杂情况处理

4.1 数据保存方法

4.1.1 保存数据到文本文件

4.1.2 保存数据到数据库

4.1.3 保存数据到Excel和CSV文件

4.2 复杂情况处理策略

4.2.1 处理登录认证

4.2.2 分页数据的爬取

4.2.3 动态加载内容的爬取

5. 爬虫策略与合法合规问题

5.1 爬虫策略与性能优化

5.1.1 提高爬虫效率的策略

5.1.2 避免被封禁的措施

5.2 合法合规与道德约束

5.2.1 遵守Robots协议

5.2.2 避免侵犯版权和隐私

5.3 Scrapy框架的简单介绍

5.3.1 Scrapy框架的基本概念

5.3.2 Scrapy框架的快速入门

所有评论(0)

小虾汉斯

2.2.2 使用 `requests` 库发送请求

3.1.1 `BeautifulSoup` 的安装与使用

3.1.2 `lxml` 的安装与使用