transformer对于大数据的适配能力比CNN要强很多,原因在于:
1.Dynamic比static好:transformer的参数是随着输入变化的,不像CNN是fixed住的;动态参数提取特征的能力会更强,所以很多CNN也在朝Dynamic的方向发展,比如Dynamic cov,Dynamic relu;
2.attention机制更关注不同feature之间的相对关系,对于绝对的value值并不敏感(对于形变和噪声不敏感),所以相对于CNN具有更好的普适性;而CNN更关注对于局部的描述(类似于传统算法中的特征点提取);
3.transformer单层就可以融合全部的信息做决策,而CNN是通过多层不断下采样获取更大感受野来融合更广范围的信息;(在此过程中也会损失掉分辨率);

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐