Faster R-CNN 在 COCO 数据集上的实践

Faster R-CNN 是一种经典的两阶段目标检测算法，结合 COCO 数据集进行实践时，需重点关注数据预处理、模型配置、训练调优和评估指标。以下为关键步骤：

---

数据准备与预处理

COCO 数据集需从官网下载并解压，通常包含 train2017、val2017 和 annotations 文件夹。使用 PyTorch 的 torchvision.datasets.CocoDetection 加载数据时，需定义预处理流程：

from torchvision import transforms
import torchvision.datasets as datasets

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Resize((800, 800)),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

train_dataset = datasets.CocoDetection(
    root='path/to/train2017',
    annFile='path/to/annotations/instances_train2017.json',
    transform=transform
)

---

模型配置与训练

使用 torchvision.models.detection.fasterrcnn_resnet50_fpn 作为基础模型，需替换分类头以适配 COCO 的 80 类目标：

from torchvision.models.detection import fasterrcnn_resnet50_fpn
from torchvision.models.detection.faster_rcnn import FastRCNNPredictor

model = fasterrcnn_resnet50_fpn(pretrained=True)
in_features = model.roi_heads.box_predictor.cls_score.in_features
model.roi_heads.box_predictor = FastRCNNPredictor(in_features, 80)  # COCO 类别数

训练时需配置优化器和学习率调度器，建议使用 SGD 和余弦退火：

import torch.optim as optim

optimizer = optim.SGD(model.parameters(), lr=0.005, momentum=0.9, weight_decay=0.0005)
lr_scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10)

---

关键参数调优

1. 锚框尺寸：COCO 数据集目标尺度变化大，需调整 FPN 的 anchor_generator 参数，例如：

   from torchvision.models.detection.rpn import AnchorGenerator
   anchor_sizes = ((32,), (64,), (128,), (256,), (512,))  # 适应多尺度目标
   

2. NMS 阈值：推理时非极大抑制（NMS）的 iou_threshold 建议设为 0.5，平衡召回与精度。
3. 批量大小：受显存限制，可启用梯度累积（gradient_accumulation_steps）模拟更大批量。

---

评估与指标分析

使用 COCO 官方评估工具 pycocotools 计算 mAP（平均精度）：

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval

coco_gt = COCO('annotations/instances_val2017.json')
coco_dt = coco_gt.loadRes('predictions.json')  # 模型输出需转换为 COCO JSON 格式
coco_eval = COCOeval(coco_gt, coco_dt, 'bbox')
coco_eval.evaluate()
coco_eval.accumulate()
coco_eval.summarize()  # 输出 mAP@[0.5:0.95]

重点关注以下指标：

• mAP@[0.5:0.95]：综合衡量不同 IoU 阈值下的检测性能。
• AP@50：IoU 阈值为 0.5 时的精度，反映基础检测能力。

---

常见问题与解决方案

1. 显存不足：降低输入分辨率（如从 800x800 调整至 600x600）或使用混合精度训练。
2. 小目标漏检：增加 FPN 的浅层特征权重，或在数据增强中添加随机裁剪。
3. 类别不平衡：采用焦点损失（Focal Loss）替代交叉熵损失。

代码示例：启用混合精度训练

scaler = torch.cuda.amp.GradScaler()
with torch.cuda.amp.autocast():
    loss_dict = model(images, targets)
    losses = sum(loss for loss in loss_dict.values())
scaler.scale(losses).backward()
scaler.step(optimizer)
scaler.update()

通过以上步骤，可实现 Faster R-CNN 在 COCO 数据集上的高效训练与评估。