图像增广技术通过对训练图像做一系列的随机变换,来产生相似又不同的训练样本,从而扩大数据集的规模。常用的图像增广的方法有翻转和裁剪、变化颜色、和叠加多个图像等。但这些仍然消耗大量的资金和时间成本。

迁移学习是将源数据集学到的知识迁移到目标数据集上。微调是迁移学习技术的一种常用技术。主要由以下4步构成:

(1)在源数据集上预训练一个神经网络模型,即源模型。

(2)创建一个新的神经网络模型,即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习的到的知识,且这些知识同样适用于目标数据集。我们还假设模型的输出层与源数据集的标签紧密相关,因此在目标模型中不予采用。

(3)为目标模型添加一个输出大小为目标数据集类别个数的输出层,并随机初始化该层模型参数。

(4)在目标数据集上训练目标模型。我们从头到尾训练输出层,而其余层的参数都是基于源模型的参数微调得到的。

 当目标数据集远小于源数据集时,微调有助于提升模型的泛化能力。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐