文章目录

前言

一、Transformer的本质

1. Transformer架构

2. Encoder-Decoder（编码器-解码器）

二、Transformer的原理

1. Multi-Head Attention（多头自注意力）

2. Scaled Dot-Product Attention（缩放点积注意力）

三、Transformer架构改进

1. BERT

2. GPT

---

前言

本文将从 Transformer的本质、Transformer的原理 和 Transformer架构改进三个方面，搞懂Transformer。

---

一、Transformer的本质

1. Transformer架构

主要由输入部分（输入输出嵌入与位置编码）、多层编码器、多层解码器以及输出部分（输出线性层与Softmax）四大部分组成。

Transformer架构

（1）输入部分

• **源文本嵌入层：**将源文本中的词汇数字表示转换为向量表示，捕捉词汇间的关系。
• **位置编码层：**为输入序列的每个位置生成位置向量，以便模型能够理解序列中的位置信息。
• **目标文本嵌入层（在解码器中使用）：**将目标文本中的词汇数字表示转换为向量表示。

（2）编码器部分

• 由N个编码器层堆叠而成。
• **每个编码器层由两个子层连接结构组成：**第一个子层是多头自注意力子层，第二个子层是一个前馈全连接子层。每个子层后都接有一个规范化层和一个残差连接。

（3）解码器部分

• 由N个解码器层堆叠而成。
• **每个解码器层由三个子层连接结构组成：**第一个子层是一个带掩码的多头自注意力子层，第二个子层是一个多头注意力子层（编码器到解码器），第三个子层是一个前馈全连接层。每个子层后都接有一个规范化层和一个残差连接。

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

（4）输出部分

• **线性层：**将解码器输出的向量转换为最终的输出维度。
• **Softmax层：**将线性层的输出转换为概率分布，以便进行最终的预测。

2. Encoder-Decoder（编码器-解码器）

左边是N个编码器，右边是N个解码器，Transformer中的N为6。

Encoder-Decoder （编码器-解码器）

（1）Encoder 编码器

• Transformer中的编码器部分一共6个相同的编码器层组成。
• **每个编码器层都有两个子层，即多头自注意力层（Multi-Head Attention）层和逐位置的前馈神经网络（Position-wise Feed-Forward Network）。**在每个子层后面都有残差连接（图中的虚线）和层归一化（LayerNorm）操作，二者合起来称为 Add&Norm 操作。

Encoder（编码器）架构

（2）Decoder 解码器

Transformer中的解码器部分同样有6个相同的解码器层组成。

每个解码器层都有三个子层，掩码自注意力层（Masked Self-Attention）、Encoder-Decoder自注意力层、逐位置的前馈神经网络。同样，在每个子层后面都有残差连接（图中的虚线）和层归一化（LayerNorm）操作，二者合起来称为 Add&Norm操作。

Decoder（解码器）架构

二、Transformer的原理

Transformer工作原理

1. Multi-Head Attention（多头自注意力）

它允许模型同时关注来自不同位置的信息。通过分割原始的输入向量到多个头（head），每个头都能独立地学习不同的注意力权重，从而增强模型对输入序列中的不同部分的关注能力。

Multi-Head Attention（多头自注意力）

（1）输入线性变换

对于输入的Query（查询）、Key（键）和Value（值）向量，首先通过线性变换将它们映射到不同的子空间。这些线性变换的参数是模型需要学习的。

（2）分割多头

经过线性变换后，Query、Key和Value向量被分割成多个头。每个头部都会独立地进行注意力计算。

（3）缩放点积注意力

在每个头内部，使用缩放点积注意力来计算Query和Key之间的注意力分数。这个分数决定了在生成输出时，模型应该关注Value向量的部分。

（4）注意力权重应用

将计算出的注意力权重应用于Value向量，得到加权的中间输出。这个过程可以理解为根据注意力权重对输入信息进行筛选和聚焦。

（5）拼接和线性变换

将所有头的加权输出拼接在一起，然后通过一个线性变换得到最终的Multi-Head Attention输出。

2. Scaled Dot-Product Attention（缩放点积注意力）

它是Transformer模型中的多头注意力机制的一个关键组成部分。

Scaled Dot-Product Attention（缩放点积注意力）

（1）Query、Key和Value矩阵

**Query矩阵（Q）：**表示当前的关注点或信息需求，用于与Key矩阵进行匹配。

**Key矩阵（K）：**包含输入序列中各个位置的标识信息，用于被Query矩阵查询匹配。

**Value矩阵（V）：**存储了与Key矩阵相对应的实际值或信息内容，当Query与某个Key匹配时，相应的Value将被用来计算输出。

（2）点积计算

通过计算Query矩阵和Key矩阵之间的点积（即对应元素相乘后求和），来衡量Query与每个Key之间的相似度或匹配程度。

（3）缩放因子

由于点积操作的结果可能非常大，尤其是在输入维度较高的情况下，这可能导致softmax函数在计算注意力权重时进入饱和区。为了避免这个问题，缩放点积注意力引入了一个缩放因子，通常是输入维度的平方根。点积结果除以这个缩放因子，可以使得softmax函数的输入保持在一个合理的范围内。

（4）Softmax函数

将缩放后的点积结果输入到softmax函数中，计算每个Key相对于Query的注意力权重。Softmax函数将原始得分转换为概率分布，使得所有的Key的注意力权重之和为1。

（5）加权求和

使用计算出的注意力权重对Value矩阵进行加权求和，得到最终的输出。这个过程根据注意力权重的大小，将更多的关注放在与Query更匹配的Value上。

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

三、Transformer架构改进

1. BERT

BERT 是一种基于Transformer的预训练语言模型，它的最大创新之处在于引入了 双向Transformer编码器 ，这使得模型可以同时考虑输入序列的前后上下文信息。

BERT架构

（1）输入层（Embedding）

Token Embeddings：将单词或字词转换为固定维度的向量。

Segment Embeddings：用于区分句子对中的不同句子。

Position Embeddings：由于Transformer模型本身不具备处理序列顺序的能力，所有需要加入位置嵌入来提供序列中单词的位置信息。

（2）编码层（Transformer Encoder）

BERT模型使用双向Transformer编码器进行编码。

（3）输出层（Pre-trained Task-specific Layers）

**MLM输出层：**用于预测被掩码（masked）的单词。在训练阶段，模型会随机遮盖输入序列中的部分单词，并尝试根据上下文预测这些单词。

**NSP输出层：**用于判断两个句子是否为连续的句子对。在训练阶段，模型会接收成对的句子作为输入，并尝试预测第二个句子是否是第一个句子的后续句子。

2. GPT

GPT 也是一种基于Transformer的预训练语言模型，它的最大创新之处在于使用了 单向Transformer编码器，这使得模型可以更好地捕捉输入序列的上下文信息。

（1）输入层（Input Embedding）

将输入的单词或符号转换为固定维度的向量表示。

可以包括词嵌入、位置嵌入等，以提供单词的语义信息和位置信息。

（2）编码层（Transformer Encoder）

GPT模型使用单向Transformer编码器进行编码和生成。

（3）输出层（Output Linear and Softmax）

线性输出层将最后一个Transformer Decoder Block的输出转换为词汇表大小的向量。

Softmax函数将输出向量转换为概率分布，以便进行词汇选择或生成下一个单词。

来源：架构师带你玩转AI

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料。包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程扫描领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程扫描领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程扫描领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程扫描领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程扫描领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓