这篇文章主要介绍了一种利用图像描述任务来预训练视觉模型的方法，并将其应用于其他视觉任务。

核心思想:

• 将图像描述任务作为预训练任务，训练一个模型来生成图像的文字描述。
• 利用该模型的视觉部分作为基础模型，迁移学习到其他视觉任务，例如图像分类、目标检测、语义分割等。

优势:

• 当其他视觉任务缺乏训练数据时，该方法可以有效地提升模型性能。

具体细节:

• 视觉任务通常使用卷积神经网络作为其基础模型，称为“视觉编码器”。
• 预训练阶段使用大量的图像数据，例如ImageNet，训练一个图像分类器。
• 训练好的图像分类器模型的视觉编码器部分可以作为其他视觉任务的基础模型，进行迁移学习。
• 这种方法称为“迁移学习”，可以有效地利用已有的训练数据，提高模型性能。

结论:

文章提出了一种简单有效的预训练方法，可以利用图像描述任务来提升其他视觉任务的性能，尤其是在数据缺乏的情况下。

最近，在视觉迁移学习中，预训练 CNN 主干网络朝着整合更多数据的方向发展，但代价是监督较少。本文探讨了相反的情况：通过在图像字幕任务上预训练少量但高质量的样本进行视觉迁移学习。大纲：0:00 - 简介和概述1:00 - 视觉任务的预训练3:40 - 质量与数量的权衡5:50 - 图像字幕8:35 - VirTex 方法14:30 - 线性分类20:30 - 消融实验22:05 - 微调25:45 - 注意力可视化27:30 - 结论和说明论文：https://arxiv.org/abs/2006.06666代码：https://github.com/kdexd/virtex
摘要：许多视觉任务的事实上的方法是从预训练的视觉表示开始，这些表示通常通过在 ImageNet 上进行监督训练学习获得。最近的方法探索了无监督预训练，以扩展到大量未标记图像。相反，我们的目标是从更少的图像中学习高质量的视觉表示。为此，我们重新审视了监督预训练，并寻求基于分类的预训练的数据高效替代方案。我们提出了 VirTex——一种使用语义密集字幕来学习视觉表示的预训练方法。我们从头开始在 COCO 字幕上训练卷积网络，并将它们转移到下游识别任务，包括图像分类、目标检测和实例分割。在所有任务中，VirTex 生成的特征与在 ImageNet 上学习的特征相匹配或超过这些特征——无论是有监督还是无监督——尽管使用的图像数量最多减少了十倍。