随着swin transformer成为best paper。transformer用于2d图像领域更加引起人们的广泛关注,划分框框的方法确实有些笨拙。我也看了一些相关的文章,不过有些文章没有开源出代码来。
记录一下:

Vision Transformer with Deformable Attention

论文连接:https://arxiv.org/abs/2201.00520v1
已开源 放心使用 用deformable conv的方法来做transformer不稀奇,之前过def transformer的方法,文章也指出这种方法智能选择四个临近点来降低计算cost 这是不够的,所以文章选用了下采样的reference points。是在swin上做的改进!
在这里插入图片描述

Twins

MSG-Transformer

GG-Transformer

Shuffle Transformer

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐