transformer中的attention为什么scaled
·
简单的说是为了让attention得到的权值更加均匀一点。
在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。
详见 transformer中的attention为什么scaled
如果本身就想获得差距较大的attention值，可以不用scaled。例如在这个ner任务里面
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献7条内容
所有评论(0)