在计算机视觉领域，图像分割是继图像分类、目标检测之后更精细的核心任务 —— 它通过像素级别的分类，实现对目标轮廓的精准预测，为场景理解、智能交互等应用提供底层技术支撑。本文将从图像分割的基础定义出发，系统梳理其技术境界、主流数据集、评估指标及核心网络架构，全面呈现图像分割技术的关键知识体系。

一、图像分割：定义、应用与前景背景划分

（一）核心定义

图像分割的本质是像素级分类：将图像中每个像素分配到特定类别，从而精准勾勒出目标的轮廓，实现 “哪里是目标、哪里是背景” 的细粒度区分，区别于目标检测仅输出目标边框的粗粒度定位。

（二）典型应用场景

图像分割的技术特性使其在多领域具备不可替代的价值，主要应用包括：

• 人像抠图：电商修图、视频会议虚拟背景等场景中，分离人物与背景；
• 医学组织提取：CT、MRI 影像中分割肿瘤、器官等，辅助疾病诊断；
• 遥感图像分析：卫星影像中识别农田、建筑、水体，支撑国土规划；
• 自动驾驶：分割路面、行人、车辆、交通标志，为决策系统提供环境感知；
• 材料图像分析：工业检测中识别材料缺陷、成分分布，保障生产质量。

（三）前景与背景的两类划分

为更清晰地处理图像内容，图像分割通常将场景分为 “前景” 与 “背景” 两类，对应不同的目标属性：

• 物体（Things）：可数的前景目标，如行人、车辆、动物等，具有明确的个体边界；
• 事物（Stuff）：不可数的背景区域，如天空、草地、路面、墙面等，通常表现为大面积连续区域。

二、图像分割的 “三层境界”：从语义到全景的递进

根据对目标区分粒度的不同，图像分割可分为三个技术层级，呈现从 “类别区分” 到 “个体区分” 再到 “全景融合” 的递进关系。

（一）语义分割（Semantic Segmentation）

核心目标：仅区分 “类别”，不区分 “个体”。每个像素必须唯一归属一个类别（如 “猫”“狗”“天空”），输出结果为与原图尺寸一致的 “类别掩膜”（Mask）。例如，图像中有两只猫，语义分割会将两只猫的像素均标记为 “猫” 类，但不区分 “猫 1” 和 “猫 2”。其优势是计算效率高，适用于仅需类别分布的场景（如路面材质分割）。

（二）实例分割（Instance Segmentation）

核心目标：聚焦 “前景个体”，同时区分 “类别” 与 “个体 ID”。仅对前景目标（Things）进行分割，不仅标注每个目标的类别（如 “行人”），还为每个个体分配唯一 ID（如 “行人 1”“行人 2”）；背景区域（Stuff）通常不做细分。例如，在人群检测中，实例分割可精准勾勒每个行人的轮廓并区分个体，适用于需要跟踪个体的场景（如人流统计）。需注意，同一像素可能因遮挡等问题归属多个实例 ID。

（三）全景分割（Panoptic Segmentation）

核心目标：融合语义分割与实例分割，实现 “全场景覆盖”。对图像中所有像素（包括前景与背景）进行标注：前景目标（Things）分配 “类别 + 唯一实例 ID”，背景区域（Stuff）分配 “类别”（无需实例 ID）。例如，街景全景分割中，“行人 1”“车辆 2” 等前景有类别与 ID，“天空”“路面” 等背景仅标注类别，真正实现 “无死角” 的像素级场景理解，是自动驾驶、机器人导航等复杂场景的核心技术。

三、主流图像分割数据集：模型训练与评估的基础

高质量数据集是图像分割模型开发的前提，目前业界已形成三大经典数据集，分别针对通用场景、街景场景及复杂场景设计。

（一）PASCAL VOC 数据集：经典通用数据集

PASCAL VOC（The PASCAL Visual Object Classes）是计算机视觉领域的 “标杆级” 挑战赛数据集，为图像分割提供了早期标准化支撑：

• 类别设计：涵盖 4 大类（动物、车辆、家具、人物）、20 小类（如猫、狗、汽车、自行车、餐桌等）；
• 数据规模：
  • VOC 2007：9963 张图像，标注 24640 个目标；
  • VOC 2012：23080 张图像，标注 54900 个目标；
  • 分割专用标注：共 2913 张图像，含 1464 张训练图、1449 张验证图；
• 标注类型：从 2007 年起支持语义分割与实例分割标注，提供 “类别掩膜” 与 “实例掩膜” 两种标签文件。

（二）Cityscape 数据集：街景专用数据集

Cityscape 数据集聚焦城市街景场景，专为自动驾驶、智能交通等应用设计，数据具有极强的场景针对性：

• 数据来源：涵盖 50 个城市在春、夏、秋三季，不同时间段（早、中、晚）、不同天气（晴、阴、雨）的街景图像，场景多样性强；
• 类别设计：共 30 个类别，按属性分为 “平面（road、sidewalk）”“人类（person、rider）”“车辆（car、truck）”“建筑（building、wall）”“自然（vegetation、sky）” 等组别；
• 数据规模：
  • 精细标注图像：5000 张（2975 张训练图、500 张验证图、1525 张测试图）；
  • 粗略标注图像：20000 张（用于大规模预训练，降低标注成本）；
• 标注类型：支持语义分割与实例分割，标签精准匹配街景中的交通参与者与环境元素。

（三）COCO 数据集：复杂场景理解数据集

COCO（Common Objects in Context）以 “场景理解” 为核心目标，选取日常复杂场景（如超市、公园、客厅），更贴近真实世界应用需求：

• 数据特点：图像包含多目标、遮挡、尺度变化等复杂情况，区别于传统 “单一目标清晰图像”，更考验模型的鲁棒性；
• 类别设计：共 91 类，以 “人类 4 岁小孩可辨识” 为标准，其中 82 类拥有超过 5000 个实例（Instance），确保数据量满足模型训练需求；
• 核心价值：不仅支持图像分割，还兼容目标检测、关键点检测等任务，可实现多任务联合训练，提升模型的综合场景理解能力。

四、语义分割的关键评估指标：量化模型性能

评估指标是衡量图像分割模型效果的核心标准，需兼顾 “整体精度” 与 “类别平衡”，常用指标包括以下 5 类：

（一）逐像素精度（Pixel Accuracy, PA）

• 定义：所有被正确分类的像素数占总像素数的比例，公式为：\(PA = \frac{\sum_{i=0}^{k-1} p_{ii}}{\sum_{i=0}^{k-1} \sum_{j=0}^{k-1} p_{ij}}\)其中，k 为类别数，\(p_{ii}\) 是第 i 类被正确分类的像素数，\(p_{ij}\) 是第 i 类被误分为第 j 类的像素数；
• 特点：计算简单，但易受 “类别不平衡” 影响 —— 若背景类（如天空）占比极大，即使前景类分割效果差，PA 也可能很高。

（二）平均像素精度（Mean Pixel Accuracy, MPA）

• 定义：先计算每个类内被正确分类的像素比例，再对所有类取平均；
• 特点：缓解了类别不平衡问题，能更公平地反映每个类的分割精度，例如背景类占比高时，MPA 不会被背景类的高正确率 “拉高”，更能体现前景类的性能。

（三）交并比（Intersection over Union, IoU）

• 定义：某类目标的 “预测掩膜” 与 “真实掩膜” 的交集面积，除以两者的并集面积，公式为：\(IoU = \frac{Intersection}{Union}\)
• 意义：直观反映 “预测区域与真实区域的重叠程度”，是分割任务的 “核心指标”——IoU 越高，说明预测越精准，通常 IoU≥0.5 时认为分割有效。

（四）平均交并比（mean IoU, mIoU）

• 定义：计算所有类的 IoU，再取平均值；
• 地位：图像分割领域的 “黄金指标”，兼顾了所有类的性能，尤其适合类别不平衡场景，例如医学分割中 “肿瘤类” 像素占比低，mIoU 能精准反映肿瘤区域的分割效果。

（五）加权平均交并比（Frequency Weighted IoU, FWIoU）

• 定义：以每个类在图像中出现的像素频率为权重，对所有类的 IoU 进行加权平均；
• 特点：更贴近实际应用场景 —— 若某类在数据集中出现频率高（如街景中的路面），其权重更大，模型在该类上的性能对最终评分影响更显著。

五、图像分割网络的核心模块：从特征提取到尺度恢复

图像分割网络的核心逻辑是 “先下采样提取特征，再上采样恢复尺寸”，对应两大核心模块：卷积模块（编码器）与反卷积 / 转置卷积模块（解码器）。

（一）两大基础模块

1. 卷积模块（编码器，Encoder）

   • 功能：通过卷积层（提取局部特征）与池化层（如 Max Pooling，下采样），逐步减少特征图尺寸、增加通道数，实现 “从像素到高级语义特征” 的转换。例如，224×224 的输入图像，经多次卷积与池化后，可得到 28×28 甚至更小的特征图，此时特征图蕴含的是 “目标类别、整体形状” 等高级信息，而非原始像素细节。

2. 反卷积 / 转置卷积模块（解码器，Decoder）

   • 功能：通过反卷积（或转置卷积）、上采样（如 Unpooling），逐步扩大特征图尺寸、减少通道数，最终恢复到与输入图像一致的尺寸，输出像素级的类别预测；
   • 关键作用：弥补编码器下采样过程中丢失的空间细节（如目标边缘），确保分割结果的精准度。

（二）转置卷积：上采样的核心实现方式

转置卷积（Transposed Convolution）是解码器实现上采样的关键技术，其本质是 “卷积的逆操作”，通过特定的权重矩阵变换，将小尺寸特征图映射为大尺寸特征图。以 “3×3 卷积核” 为例，转置卷积与普通卷积的关系如下：

1. 普通卷积（下采样）

   • 输入：4×4 特征图；
   • 输出：2×2 特征图；
   • 原理：通过 3×3 卷积核滑动计算，将 4×4 的输入 “压缩” 为 2×2 的输出，过程可表示为稀疏矩阵与输入向量的乘法（\(Y = W_{conv} \times SparseX\)），其中 \(W_{conv}\) 是卷积权重的稀疏矩阵，SparseX 是输入特征图的展开向量。

2. 转置卷积（上采样）

   • 输入：2×2 特征图；
   • 输出：4×4 特征图；
   • 原理：将普通卷积的稀疏矩阵 \(W_{conv}\) 转置为 \(W_{deconv}\)，通过 \(X = W_{deconv} \times SparseY\)（Y 是输入向量），将 2×2 的输入 “还原” 为 4×4 的输出。需注意，转置卷积并非 “完全逆操作”，可能存在边缘填充差异，但能有效恢复特征图尺寸，为像素级预测提供基础。

六、典型图像分割网络架构：编码器 - 解码器范式

目前主流的图像分割网络均采用 “编码器 - 解码器”（Encoder-Decoder）架构，形成 “特征提取→特征恢复→像素预测” 的端到端流程：

• 编码器：由卷积层与 Max Pooling 层组成，例如 VGG、ResNet 等经典分类网络均可作为编码器，负责将输入图像转化为高级语义特征；
• 解码器：由转置卷积层与 Unpooling 层组成，将编码器输出的小尺寸特征图逐步上采样，同时融合编码器不同层级的特征（如低层级的边缘特征、高层级的类别特征），最终输出与输入尺寸一致的分割掩膜；
• 示例流程：224×224 输入 → 编码器下采样至 28×28 → 解码器上采样回 224×224 → 输出每个像素的类别预测。

这种架构的核心优势是 “兼顾语义信息与空间细节”：编码器确保模型理解目标类别，解码器确保模型精准定位目标轮廓，二者协同实现高质量的图像分割。

七、总结

图像分割作为计算机视觉的细粒度任务，其技术体系涵盖 “定义 - 境界 - 数据 - 指标 - 架构” 五大核心环节：从像素级分类的基础定义出发，通过语义、实例、全景分割的三层递进实现场景理解；依托 VOC、Cityscape、COCO 等数据集构建训练基础；通过 PA、mIoU 等指标量化模型性能；最终以编码器 - 解码器架构为核心，借助转置卷积等技术实现 “特征提取与尺度恢复” 的闭环。

随着自动驾驶、医学影像、机器人视觉等领域的需求增长，图像分割技术正朝着 “更高精度、更快速度、更强鲁棒性” 的方向发展，而对基础概念与核心模块的理解，是掌握该技术并推动其落地的关键前提。