推荐给大家一篇昨天arXiv新出的论文 :

A survey on Semi-, Self- and Unsupervised Techniques in Image Classification (Similarities, Differences & Combinations)。

5bf2d873cf4aa8ad84be8d6be150dbe8.png

自监督、半监督、无监督,傻傻分不清楚?那来看看这篇论文吧!

来自德国的研究人员为你详解他们的相似性、不同点和可以结合的地方。

作者单位:德国基尔大学

作者们比较了21个最先进的模型,指出该领域的三个趋势:

1. 最先进的方法已经可以应用于真实世界场景;

2. 与使用所有标签的监督学习相比,所需要的监督程度正在下降;

3. 三种学习方法使用了相同的技术,但很少有文献讨论如何把他们结合起来。

探索无标签数据成为最近一年来机器学习领域的热点,下图展示了在深度学习图像分类问题中无标签数据的作用。

329a743a375c8fcaf6f5f7948bdad48b.png

红色和蓝点圆点代表不同的类别,灰色圆点代表没有标签的数据。

如果我们仅使用有标签的数据,则他们风分界线是途中虚线。

如果考虑到无标签数据,那黑色的曲线是则应该是比较好的选择。

监督学习、半监督学习、非监督学习、自监督学习的示意图:

e3625d32af364256b06dd77405f0e2c0.png

部分半监督学习方法图例:

ed927cea17e4dad6ce98aa59a10ad43f.png

部分自监督学习方法图例:

99aeb3b565d9344b291eee0c20c2b53e.png

作者总结的半监督、自监督、无监督学习使用的一些关键技术:

3456ec61e7d60588960baa953c2d0c99.png

可见三类学习方法中很多不同类型的算法使用了相同的组件。(具体缩写代表技术详情,请查阅原论文)

作者报告了在该领域常使用的数据集,图例:

d9e0254db15b1dd37d6da434ba7c14ac.png

作者汇总的一些结果:

54a4822cf06255f219b7814ceb6d7928.png

可见,尽管监督学习仍然在图像分类中仍占统治地位,但半监督和自监督学习的算法已经表现出喜人的成绩,2019年出现的半监督学习方法fast-SWA和自监督学习方法AMDIM在四个常用数据集上的精度已经接近监督学习的结果!

总之,黎明已现,前途光明,方法之间的结合很值得研究。

本文仅做了稍许的重点介绍,想要进一步研究该领域的朋友,可以在我爱计算机视觉公众号后台回复关键字“非监督综述”,即可收到下载地址。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐