模型的迅速崛起重塑了图像分割领域的格局，例如 Segment Anything (SAM) 等模型在各种视觉任务中展现了前所未有的通用性。然而，包括 SAM 及其后续版本在内的前几代模型在处理细粒度、低级分割挑战方面仍然面临挑战，例如伪装目标检测、医学图像分割、细胞图像分割和阴影检测。为了克服这些局限性，我们最初在 2023 年提出了 SAM-Adapter，并在这些复杂场景中取得了显著的进步。随着 Segment Anything 3 (SAM3) 的出现——SAM3 是一款更高效、性能更高的模型，采用了重新设计的架构和改进的训练流程——我们再次审视这些长期存在的挑战。本文提出了 SAM3-Adapter，这是首个专为 SAM3 定制的适配器框架，能够充分发挥其分割能力。 SAM3-Adapter 不仅降低了计算开销，而且始终优于基于 SAM 和 SAM2 的解决方案，在包括医学成像、伪装（隐藏）物体分割和阴影检测在内的多个下游任务中取得了新的最佳结果。SAM3-Adapter 基于原始 SAM-Adapter 的模块化和可组合设计理念，提供了更强的泛化能力、更丰富的任务适应性以及显著提高的分割精度。大量实验证实，与所有先前的基于 SAM 的改进方案相比，将 SAM3 与我们的适配器集成可以带来更高的准确性、鲁棒性和效率。我们希望 SAM3-Adapter 能够为未来的研究和实际分割应用奠定基础。代码、预训练模型和数据处理流程均已发布。
Project Page ：https://tianrun-chen.github.io/SAM-Adaptor/