【深度学习】transformer之Multi-head Attention

相思啊

381人浏览 · 2024-02-03 12:49:38

相思啊 · 2024-02-03 12:49:38 发布

Multi-Head Self-Attention（多头自注意）

多头的个数用h表示，一般h = 8, 我们常用使用的是8头自注意力.
在这里插入图片描述
注意：Q、K、V通过线性变换后，变成了三组，这三组是不同的。

如何多头？

在这里插入图片描述
1、对于X，我们将X分成了8块(8头)，得到Z0-Z7。
2、然后把Z0-Z7拼接起来，再做一次线性变换（改变维度）得到Z。

作用

机器学习的本质：在做一件事情，非线性变换（把一个看起来不合理的东西，通过某个手段（训练模型），让这个东西变得合理）
非线性变换的本质：改变空间上的位置坐标，任何一个点都可以在维度空间上找到，通过某个手段，让一个不合理的点（位置不合理），变得合理。
在这里插入图片描述

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模