soft / hard attention 机制 理解——机器学习中的soft 和 hard
·
Soft attention是一种全局的attention，其中权重被softly地放在源图像所有区域
Hard attention一次关注图像的一个区域，采用0-1编码，时间花费较少，但是不可微分，所以需要更复杂的技术来进行训练
下图是从果壳网（quora）摘取的一篇回答
即在机器学习中soft 常常表示可微分，比如sigmoid和softmax机制
而hard常常表示不可微分
soft hard attention机制是在图像生成标题任务中被提出的，其原始任务如下：
上面是soft 下面是hard，我们可以看到，soft的权重是每次被放置在整张图像上，注重强调的部分（越白）的数值越接近1，越黑越接近0
下面的一排非黑即白，白色区域为1，黑色区域为0
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
4
0- 0
已为社区贡献7条内容
所有评论(0)