一、lxml库概述

lxml是Python中最高效的XML/HTML处理库，结合了ElementTree的简单API和libxml2/libxslt的强大性能。主要特点包括：

• 支持XPath 1.0、XSLT 1.0和部分XPath 2.0功能
• 完整的文档树操作能力
• 基于C的底层实现，解析速度比BeautifulSoup快10倍以上
• 自动处理HTML编码问题

安装命令

pip install lxml cssselect  # cssselect用于CSS选择器支持

---

二、核心解析方法详解

2.1 HTML解析方法

from lxml import html

# 方法1：解析HTML字符串
html_content = "<div><p>测试内容</p></div>"
tree = html.fromstring(html_content)  # 返回ElementTree对象

# 方法2：解析HTML文件
tree = html.parse("page.html")  # 返回ElementTree对象

# 方法3：解析网络资源（需requests支持）
import requests
response = requests.get("https://example.com")
tree = html.fromstring(response.content)  # 直接解析字节内容

2.2 XML解析方法

from lxml import etree

# 解析XML字符串
xml_data = "<root><item>苹果</item><item>橘子</item></root>"
root = etree.fromstring(xml_data)  # 返回Element对象

# 创建XML解析器（带参数）
parser = etree.XMLParser(remove_blank_text=True)  # 删除空白文本
tree = etree.parse("data.xml", parser)  # 返回ElementTree对象

解析器参数说明：

参数	类型	默认	说明
recover	bool	False	尝试修复无效标记
encoding	str	None	指定编码格式
remove_blank_text	bool	False	删除空白文本节点
resolve_entities	bool	True	是否解析实体

---

三、数据提取技术

3.1 XPath选择器

# 基本用法
titles = tree.xpath('//h1/text()')           # 获取所有<h1>文本
links = tree.xpath('//a/@href')              # 获取所有链接
second_div = tree.xpath('//div[2]')          # 第二个div元素

# 函数使用
book_titles = tree.xpath("//book[price>35]/title/text()")

常用XPath表达式：

表达式	说明	示例
nodename	选择节点	//div
/	从根节点选择	/html/body
//	选择任意位置	//img
.	当前节点	./p
..	父节点	../@id
@	属性选择	//meta[@name]
text()	文本内容	//h1/text()
position()	位置筛选	//tr[position()>5]

3.2 CSS选择器

from lxml.cssselect import CSSSelector

# 创建CSS选择器
link_selector = CSSSelector('a.external')  # 所有class="external"的链接
price_selector = CSSSelector('.price::text')  # 获取价格文本

# 应用选择器
elements = link_selector(tree)
prices = [e.text for e in price_selector(tree)]

3.3 元素遍历方法

# 遍历所有元素
for element in tree.iter():
    print(f"标签名: {element.tag}, 属性: {element.attrib}")

# 遍历特定元素
for paragraph in tree.iter('p'):
    print(paragraph.text_content())

# 递归遍历子元素
def print_tree(element, depth=0):
    print('  ' * depth + element.tag)
    for child in element:
        print_tree(child, depth+1)

---

四、文档修改操作

4.1 元素属性操作

div = tree.xpath('//div[@id="main"]')[0]

# 获取属性
class_name = div.get('class')  # 获取class属性值

# 设置属性
div.set('class', 'updated')   # 修改class
div.set('data-id', '1001')    # 添加新属性

# 删除属性
del div.attrib['style']       # 删除style属性

4.2 内容操作

# 修改文本内容
div.text = "新文本内容"

# 添加子元素
new_span = html.Element("span")
new_span.text = "新增内容"
div.append(new_span)

# 插入元素
first_child = div[0]
div.insert(0, html.Element("hr"))  # 在开头插入

4.3 文档序列化

# 序列化为HTML字符串
print(html.tostring(tree, pretty_print=True, encoding='unicode'))

# 序列化为XML
print(etree.tostring(root, encoding='utf-8', xml_declaration=True))

# 写入文件
with open('output.html', 'wb') as f:
    f.write(html.tostring(tree))

---

五、高级功能应用

5.1 HTML表单处理

form = tree.forms[0]  # 获取第一个表单
form.fields = {        # 设置表单值
    'username': 'testuser',
    'password': '123456'
}

# 生成提交数据
from urllib.parse import urlencode
data = urlencode(form.form_values())

5.2 XSLT转换

<!-- style.xsl -->
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
  <xsl:template match="/">
    <books>
      <xsl:for-each select="catalog/book">
        <title><xsl:value-of select="title"/></title>
      </xsl:for-each>
    </books>
  </xsl:template>
</xsl:stylesheet>
# 执行转换
transform = etree.XSLT(etree.parse("style.xsl"))
result = transform(tree)
print(str(result))

5.3 命名空间处理

# 声明命名空间
NSMAP = {'atom': 'http://www.w3.org/2005/Atom'}
root = etree.Element("{http://www.w3.org/2005/Atom}feed", nsmap=NSMAP)

# 带命名空间的XPath
entries = root.xpath('//atom:entry', namespaces=NSMAP)

---

六、性能优化技巧

6.1 XPath编译优化

# 编译XPath表达式（重复使用时提速50%）
find_products = etree.XPath("//div[@class='product']")
prices_xpath = etree.XPath("span[@class='price']/text()")

products = find_products(tree)
for product in products:
    print(prices_xpath(product)[0])

6.2 增量解析（处理大文件）

# 使用iterparse逐块解析
context = etree.iterparse("large.xml", events=("end",), tag="item")

for event, element in context:
    print(element.findtext("title"))
    element.clear()          # 清理已处理元素
    while element.getprevious() is not None:
        del element.getparent()[0]  # 删除已处理的兄弟节点

---

七、实际应用案例

7.1 电商价格监控

def extract_prices(url):
    response = requests.get(url)
    tree = html.fromstring(response.content)
    
    # 编译XPath选择器
    product_selector = etree.XPath('//div[contains(@class, "product-item")]')
    name_selector = etree.XPath('.//h3/text()')
    price_selector = etree.XPath('.//span[@class="price"]/text()')
    
    results = []
    for product in product_selector(tree):
        results.append({
            "name": name_selector(product)[0].strip(),
            "price": float(price_selector(product)[0].replace('¥', ''))
        })
    return results

7.2 生成XML数据报表

def generate_xml_report(data):
    root = etree.Element("Report")
    head = etree.SubElement(root, "Head")
    etree.SubElement(head, "Title").text = "产品报告"
    etree.SubElement(head, "Date").text = datetime.now().isoformat()
    
    body = etree.SubElement(root, "Body")
    for item in data:
        product = etree.SubElement(body, "Product")
        etree.SubElement(product, "ID").text = str(item["id"])
        etree.SubElement(product, "Name").text = item["name"]
        etree.SubElement(product, "Sales").text = str(item["sales"])
    
    # 添加格式和缩进
    etree.indent(root, space="  ")
    return etree.tostring(root, encoding="utf-8", xml_declaration=True)

---

总结

本教程详细介绍了lxml库的核心功能和使用技巧：

1. 解析机制：支持从字符串/文件/网络资源解析HTML/XML
2. 数据提取：精通XPath和CSS选择器定位元素
3. 文档操作：掌握元素修改、属性和内容编辑
4. 高级应用：表单处理、XSLT转换和命名空间管理
5. 性能优化：XPath编译和增量解析技术

关键优势：

• 处理1MB HTML文件仅需0.05秒
• XPath比BeautifulSoup的CSS选择器快7倍
• 支持XML标准的所有功能

适用场景：

• 高性能网页数据抓取
• 大型XML文件处理
• 需要XSLT转换的场景
• 生成复杂结构的XML数据

lxml在保持简洁API的同时，提供了接近底层语言的性能表现，是Python数据处理领域的标杆库。