$\text{0. }$写在前面

1️⃣本课程总体结构

• 这门课由于由两位老师授课，个人感觉结构比较混乱
• 由于时间紧任务重经费无，所以笔记还是按$\text{PPT}$内容和以上结构展开，即使有很多不合理的地方

2️⃣考试有关事项

$\text{1. }$概述与统计机器翻译

1️⃣基于规则的机器翻译$\text{(RBMT)}$

1. 结构：规则库(词法$+$句法$+$语义)，词典(源-目标语言的对应关系)
2. 流程：分析$\stackrel{词法/句法/语义分析}{\to }$中间表示(如中间树)$\stackrel{目标转换}{\to }$生成

2️⃣基于统计的机器翻译$\text{(SMT)}$

1. 含义：
   • 目标：给定源语言句子$\text{→}$找到目标语言中最可能的翻译
   • 原理：基于$P(\text{TL}|\text{OL})\text{=}P(\text{OL}|\text{TL})P(\text{TL})$，从而构建以下两个模型并最大化$P(\text{OL}|\text{TL})$

     $\text{Item}$	含义	释义
     $P(\text{TL})$	语言模型的概率	表示目标语言句子在目标语言中的自然性
     $P(\text{OL}|\text{TL})$	翻译模型的概率	表示从目标语言句子生成源语言句子的概率

2. 几种$\text{SMT}$：
   • $\text{Noisy Channel}$模型：认为源语言$\stackrel{噪声信道处理}{\leftarrow }$目标语言，而翻译为该过程逆向
   • $\text{IBM}$模型：核心在于对齐机制，通过最大化对齐概率以找到源$\leftrightarrow$目标的最佳对应

$\text{2. RNN}$与$\text{LSTM}$

$\text{2.0. }$一些前情提要

1️⃣关于隐状态

1. 含义：对当前$x_t\stackrel{认为基于过去的观测}{\to }{x}_t\sim P\left(x_t|x_{t\text{-}1},\dots ,x_1\right)\stackrel{将过去观测总结为h_{t\text{-}1}}{\to }{x}_t\sim P\left(x_t|h_{t\text{-}1}\right)$
2. 更新：当前隐含状态就是当前值$+$上一隐藏状态，即$h_t\text{=}f(x_t,h_{t\text{-}1})$

2️⃣无隐藏状态的神经网络

1. 输入层：给定一批的$n$个$d$维样本$\text{X}\text{∈}{\mathbb{R}}^{n\text{×}d}$
2. 隐藏层：$\text{X}\text{∈}{\mathbb{R}}^{n\text{×}d}\underset{定激活函数\varphi ,h个隐藏单元}{\overset{权重参数{\text{W}}_{xh}\text{∈}{\mathbb{R}}^{d\text{×}h},偏置参数{\text{b}}_h\text{∈}{\mathbb{R}}^{1\text{×}h}}{\to }}$输出$\text{H}\text{=}\varphi ({\text{XW}}_{xh}\text{+}{\text{b}}_h)\text{∈}{\mathbb{R}}^{n\text{×}h}$
3. 输出层：
   • 原始输出：$\text{H}\text{∈}{\mathbb{R}}^{n\text{×}h}\underset{q个隐藏单元}{\overset{权重参数{\text{W}}_{hq}\text{∈}{\mathbb{R}}^{h\text{×}q},偏置参数{\text{b}}_q\text{∈}{\mathbb{R}}^{1\text{×}q}}{\to }}$输出$\text{O}\text{=}({\text{HW}}_{hq}\text{+}{\text{b}}_q)\text{∈}{\mathbb{R}}^{n\text{×}q}$
   • $\text{Softmax}$输出：$\text{Softmax}(\text{O}){\mathbb{R}}^{n\text{×}q}\text{→}$为概率分布(矩阵所有元素和为$1$)

$\text{2.1. }$有隐藏状态的神经网络: $\text{RNN}$

1️⃣$\text{RNN}$结构​

1. 输入层：输入序列在时间步$t$处的$n$个样本${\text{X}}_t\text{∈}{\mathbb{R}}^{n\text{×}d}$
2. 隐藏层：全连接$+$带激活函数$\varphi$，输出${\text{H}}_t\text{=}\varphi ({\text{X}}_t{\text{W}}_{xh}\text{+}{\text{H}}_{t\text{-}1}{\text{W}}_{hh}\text{+}{\text{b}}_h)\text{∈}{\mathbb{R}}^{n\text{×}h}$
   • ${\text{W}}_{hh}\text{∈}{\mathbb{R}}^{h\text{×}h}$权重参数：描述了如何在当前时间步，使用上一时间步隐藏变量
   • 另一个关注点：${\text{X}}_t{\text{W}}_{xh}\text{+}{\text{H}}_{t\text{-}1}{\text{W}}_{hh}$相当于$({\text{X}}_t\stackrel{拼接}{\leftrightarrow }{\text{H}}_{t\text{-}1})\text{×}({\text{W}}_{xh}\stackrel{拼接}{\leftrightarrow }{\text{W}}_{hh})$
3. 输出层：输出${\text{O}}_t\text{=}({\text{H}}_t{\text{W}}_{hq}\text{+}{\text{b}}_q)\text{∈}{\mathbb{R}}^{n\text{×}q}$
4. 循环机制：
   • 参数上：${\text{W}}_{xh}\text{∈}{\mathbb{R}}^{d\text{×}h}/{\text{W}}_{hh}\text{∈}{\mathbb{R}}^{h\text{×}h}/{\text{W}}_{hq}\text{∈}{\mathbb{R}}^{h\text{×}q}/{\text{b}}_q\text{∈}{\mathbb{R}}^{1\text{×}q}/{\text{b}}_h\text{∈}{\mathbb{R}}^{1\text{×}h}$每个时间步相同
   • 隐藏态：每个时间步隐藏态的使用方式一样，当前时间步${\text{H}}_t$也会用于下一时间步${\text{H}}_t$的计算

2️⃣基于$\text{RNN}$的字符级语言模型

1. 结构：用当前字符预测下一个字符$\text{→}$批大小$\text{=}1$时当前时间步标签为下一字符(原始序列右移一位)
2. 输出/误差：对每个时间步进行$\text{Softmax}$，并用交叉熵计算其与标签的误差
3. 隐藏状态：隐藏状态${\text{O}}_t$由$t$时间步及其之前的文本序列决定

3️⃣$\text{RNN}$的通过时间反向传播($\text{BBTT}$)

1. 损失计算：每一时间步输出与标签的(交叉熵)损失$L_t\text{→}$累计每一时间步损失$L\text{=}\sum _{t=1}^T{L}_t$
2. 计算梯度：将每一个时间步展开为一个前馈神经网络
   • 输出层：每时间步$\frac{\partial L}{\partial {\mathbf{W}}_{hq}}\text{=}\sum _{t\text{=}1}^T\frac{\partial L_t}{\partial {\mathbf{O}}_t}\cdot \frac{\partial {\mathbf{O}}_t}{\partial {\mathbf{W}}_{hq}}$以及$\frac{\partial L}{\partial {\mathbf{b}}_q}\text{=}\sum _{t\text{=}1}^T\frac{\partial L_t}{\partial {\mathbf{O}}_t}\cdot \frac{\partial {\mathbf{O}}_t}{\partial {\mathbf{b}}_q}$
   • 隐藏层：每时间步$\frac{\partial L}{\partial {\mathbf{H}}_t}\text{=}\sum _{k=t}^T\frac{\partial L_k}{\partial {\mathbf{H}}_t}\stackrel{沿时间步展开}{\to }\frac{\partial L_k}{\partial {\mathbf{H}}_t}\text{=}\frac{\partial L_k}{\partial {\mathbf{O}}_k}\cdot \frac{\partial {\mathbf{O}}_k}{\partial {\mathbf{H}}_k}\cdot \prod _{j=t+1}^k\frac{\partial {\mathbf{H}}_j}{\partial {\mathbf{H}}_{j-1}}$
3. 更新隐藏层参数：
   • 反向累积：$\frac{\partial L}{\partial {\mathbf{W}}_{hh}}\text{=}\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{H}}_t}\cdot \frac{\partial {\mathbf{H}}_t}{\partial {\mathbf{W}}_{hh}}$以及$\frac{\partial L}{\partial {\mathbf{b}}_h}\text{=}\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{H}}_t}\cdot \frac{\partial {\mathbf{H}}_t}{\partial {\mathbf{b}}_h}$在时间维度累积
   • 参数更新：累加所有时间步的梯度后，(使用$\text{SND/Adam}$)更新权重参数
     ⚠️$\text{BBTT}$存在梯度消失/爆炸的问题，即梯度因反复相乘而剧烈减小/增大，而$\text{LSTM}$则有效解决之

$\text{2.2. LSTM}$结构: 门控记忆元

1️⃣各单元结构：对于输入${\mathbf{X}}_t\text{∈}{\mathbb{R}}^{n\text{×}d}$和隐状态${\mathbf{H}}_{t\text{-}1}\text{∈}{\mathbb{R}}^{n\text{×}h}$

单元类型	计算方法	输入权重	隐藏权重	偏置
${\mathbf{F}}_t\text{∈}{\mathbb{R}}^{n\text{×}h}$	$\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xf}+{\mathbf{H}}_{t\text{-}1}{\mathbf{W}}_{hf}+{\mathbf{b}}_f\right)$	${\mathbf{W}}_{xf}\text{∈}{\mathbb{R}}^{d\text{×}h}$	${\mathbf{W}}_{hf}\text{∈}{\mathbb{R}}^{h\text{×}h}$	${\mathbf{b}}_f\text{∈}{\mathbb{R}}^{1\text{×}h}$
${\mathbf{I}}_t\text{∈}{\mathbb{R}}^{n\text{×}h}$	$\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xi}+{\mathbf{H}}_{t\text{-}1}{\mathbf{W}}_{hi}+{\mathbf{b}}_i\right)$	${\mathbf{W}}_{xi}\text{∈}{\mathbb{R}}^{d\text{×}h}$	${\mathbf{W}}_{hi}\text{∈}{\mathbb{R}}^{h\text{×}h}$	${\mathbf{b}}_i\text{∈}{\mathbb{R}}^{1\text{×}h}$
${\mathbf{O}}_t\text{∈}{\mathbb{R}}^{n\text{×}h}$	$\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xo}+{\mathbf{H}}_{t\text{-}1}{\mathbf{W}}_{ho}+{\mathbf{b}}_o\right)$	${\mathbf{W}}_{xo}\text{∈}{\mathbb{R}}^{d\text{×}h}$	${\mathbf{W}}_{ho}\text{∈}{\mathbb{R}}^{h\text{×}h}$	${\mathbf{b}}_o\text{∈}{\mathbb{R}}^{1\text{×}h}$
${\tilde{\mathbf{C}}}_t\text{∈}{\mathbb{R}}^{n\text{×}h}$	$\text{tanh}\left({\mathbf{X}}_t{\mathbf{W}}_{xc}+{\mathbf{H}}_{t\text{-}1}{\mathbf{W}}_{hc}+{\mathbf{b}}_c\right)$	${\mathbf{W}}_{xc}\text{∈}{\mathbb{R}}^{d\text{×}h}$	${\mathbf{W}}_{ho}\text{∈}{\mathbb{R}}^{h\text{×}c}$	${\mathbf{b}}_c\text{∈}{\mathbb{R}}^{1\text{×}h}$

2️⃣记忆元：${\mathbf{C}}_t\text{=}{\mathbf{F}}_t\text{⊙}{\mathbf{C}}_{t\text{-}1}\text{+}{\mathbf{I}}_t\text{⊙}{\tilde{\mathbf{C}}}_t$

操作	含义
${\mathbf{F}}_t\text{⊙}{\mathbf{C}}_{t\text{-}1}$	忘掉多少过去的记忆元${\mathbf{C}}_{t\text{-}1}\text{∈}{\mathbb{R}}^{n\text{×}h}$
${\mathbf{I}}_t\text{⊙}{\tilde{\mathbf{C}}}_t$	采纳多少当前的新数据${\tilde{\mathbf{C}}}_t\text{∈}{\mathbb{R}}^{n\text{×}h}$

• 当遗忘门${\mathbf{F}}_t\text{=}{\text{1}}_{n\text{×}h}$且输入门${\mathbf{I}}_t\text{=}{\text{0}}_{n\text{×}h}$时，表示过去的记忆元${\mathbf{C}}_{t\text{-}1}$完全传递到当前步

3️⃣隐状态：${\mathbf{H}}_t\text{=}{\mathbf{O}}_t\text{⊙}\tanh \left({\mathbf{C}}_t\right)\text{→}{\mathbf{H}}_t\text{∈}(-1,1)$，即只要输出门保持$1\text{→}$效传递记以更新隐状态

$\text{2.3. Encoder-Decoder}$架构

结构	功能	举例
编码器	变长序列$\stackrel{编码}{\to }$定长向量(隐含状态)	原始文本$\stackrel{编码}{\to }$🤪🤪🤪
解码器	定长向量$\stackrel{解码}{\to }$变长序列	🤪🤪🤪$\stackrel{解码}{\to }$翻译文本

$\text{3. }$注意力机制与$\text{Transformer}$

$\text{3.1. }$注意力机制

1️⃣生物学中的注意力提示

类型	含义	基础
非自主提示($\text{Bottom-up}$)	自然而然地注意到环境中显眼的物体	物体的突出性
自主性提示($\text{Top-down}$)	由自我意识主关推动的对于某事物的注意	自主性提示

2️⃣注意力机制的要素

1. $\text{Query/Key/Value}$架构
   

   $\text{Item}$	相当于	含义
   $\text{Value}$	感官输入	实际输入的信息(感官)
   $\text{Key}$	非自主提示	每个输入感官都有的非自住性提示$(\text{Value}\stackrel{一一对应}{\leftrightarrow }\text{Key})$
   $\text{Query}$	自主性提示	引导注意力机制聚焦于最相关的感官输入

2. 注意力汇聚函数：$f(x)\text{=}\sum _{i=1}^n\alpha (x,x_i)\text{×}{y}_i$

   汇聚示例	输出	注意力评分函数
   平均汇聚	$f(x)\text{=}\sum _{i=1}^n\frac{1}{n}{y}_i$	$\text{N/A}$
   非参数汇聚	$f(x)\text{=}\sum _{i=1}^n\text{Softmax}\left(-\frac{1}{2}{\left(x-x_i\right)}^2\right)y_i$	$-\frac{1}{2}{\left(x-x_i\right)}^2$
   参数汇聚	$f(x)\text{=}\sum _{i=1}^n\text{Softmax}\left(-\frac{1}{2}{\left(\left(x-x_i\right)w\right)}^2\right)y_i$	$-\frac{1}{2}{\left(\left(x-x_i\right)w\right)}^2$

   • $x/k_i$接近$\text{→}\text{Softmax}$(权)值变大$\text{→}{v}_i$对结果贡献变大(获得更多注意力)

3️⃣注意力评分函数：对于$\mathbf{q}\text{∈}{\mathbb{R}}^q/{\mathbf{k}}_i\text{∈}{\mathbb{R}}^k/{\mathbf{v}}_i\text{∈}{\mathbb{R}}^v$有

1. 数学模型：
   • 评分函数：$a(\mathbf{q},{\mathbf{k}}_i)\text{∈}\mathbb{R}$
   • 权值函数：$\alpha \left(\mathbf{q},{\mathbf{k}}_i\right)\text{=}\mathrm{Softmax}\left(a\left(\mathbf{q},{\mathbf{k}}_i\right)\right)\text{=}\frac{e^{a(\mathbf{q},{\mathbf{k}}_i)}}{\sum _{j\text{=}1}^n{e}^{a(\mathbf{q},{\mathbf{k}}_i)}}\text{∈}\mathbb{R}$，其中$\sum _{i=1}^n\alpha \left(\mathbf{q},{\mathbf{k}}_i\right)\text{=}1$
   • 汇聚函数：$f\left(\mathbf{q},\left({\mathbf{k}}_1,{\mathbf{v}}_1\right),\dots ,\left({\mathbf{k}}_n,{\mathbf{v}}_n\right)\right)\text{=}\sum _{i\text{=}1}^n\alpha \left(\mathbf{q},{\mathbf{k}}_i\right){\mathbf{v}}_i\text{∈}{\mathbb{R}}^v$
2. 关于$\text{Softmax}$：
   • 本质：本质上得到的是概率分布$\stackrel{与{\text{v}}_i相乘}{\to }{\text{v}}_i$的加权平均
   • 掩码：由于$\text{Softmax(-∞)=0}$，故可$\text{Softmax}(\text{A})\stackrel{\text{A}\underset{部分位设为\text{-∞}}{\overset{忽略不必要元素(如无用词元)}{\to }}{\text{A}}^{\prime }}{\to }\text{Softmax}({\text{A}}^{\prime })$
3. 缩放点积：可高效计算的评分函数
   • 单查询：对$\mathbf{q}\text{∈}{\mathbb{R}}^d$和$\mathbf{k}\text{∈}{\mathbb{R}}^d$(注意二者维度要相同)，有$a(\mathbf{q},\mathbf{k})\text{=}\frac{{\mathbf{q}}^{\top }\mathbf{k}}{\sqrt{d}}\text{∈}\mathbb{R}$
   • 批查询：对$n$个查询$\mathbf{Q}\text{∈}{\mathbb{R}}^{n\text{×}d}$和$m$个键值对$\{\begin{array}{l}\mathbf{K}\text{∈}{\mathbb{R}}^{m\text{×}d}\\ \\ \mathbf{V}\text{∈}{\mathbb{R}}^{m\text{×}v}\end{array}\text{→}$有$\text{Softmax}\left(\frac{{\mathbf{QK}}^{\top }}{\sqrt{d}}\right)\mathbf{V}\text{∈}{\mathbb{R}}^{n\text{×}v}$

$\text{3.2. Transformer}$注意力: 编码$\stackrel{输入}{\to }$自注意力$\stackrel{组合}{\to }$多头

1️⃣位置编码

1. 流程：对含$n$个词元的$d$维嵌入$\text{X}\text{∈}{\mathbb{R}}^{n\text{×}d}\underset{位置嵌入矩阵}{\overset{\text{P}\text{∈}{\mathbb{R}}^{n\text{×}d}}{\to }}\text{X}\text{+}\text{P}$，且$\{\begin{array}{l}{p}_{i,2j}\text{=}\sin \left(\frac{i}{10000^{2j/d}}\right)\\ \\ p_{i,2j+1}\text{=}\cos \left(\frac{i}{10000^{2j/d}}\right)\end{array}$
2. 意义：捕获绝对位置信息$\text{+}$学习相对位置信息

2️⃣自注意力机制

1. 自注意力结构：$\text{QKV}$皆由词嵌入得到
   
   • 词嵌入：输入序列$\text{X}\text{∈}{\mathbb{R}}^{n\text{×}{d}_x}\stackrel{(位置)嵌入}{\to }\text{A}\text{∈}{\mathbb{R}}^{n\text{×}{d}_a}$
   • 线性变换：$\left[\begin{array}{c}\text{Q}\text{∈}{\mathbb{R}}^{n\text{×}{d}_q}\\ \text{K}\text{∈}{\mathbb{R}}^{n\text{×}{d}_k}\\ \text{V}\text{∈}{\mathbb{R}}^{n\text{×}{d}_v}\end{array}\right]\text{=}\left[\begin{array}{c}\text{A}{\text{W}}^q\\ \text{A}{\text{W}}^k\\ \text{A}{\text{W}}^v\end{array}\right]其中\{\begin{array}{l}{\text{W}}^q\text{∈}{\mathbb{R}}^{d_a\text{×}{d}_q}\\ {\text{W}}^k\text{∈}{\mathbb{R}}^{d_a\text{×}{d}_k}\\ {\text{W}}^v\text{∈}{\mathbb{R}}^{d_a\text{×}{d}_v}\end{array}\text{→}皆为可学习参数$
   • 计算注意力：注意力分布$\mathcal{A}\text{=}\text{Softmax}\left(\frac{{\mathbf{QK}}^{\top }}{\sqrt{d_k}}\right)\text{∈}{\mathbb{R}}^{n\text{×}n}\underset{加权求和}{\overset{与\text{V}线性变换}{\to }}$输出$\hat{\mathcal{A}}\text{=}\mathcal{A}\mathbf{V}\text{∈}{\mathbb{R}}^{n\text{×}{d}_v}$
2. 比较：$\text{CNN/RNN/}$自注意力机制

   模型	结构	备注
   $\text{CNN}$		一次只能感知到一个卷积核大小范围(此处为$\text{3}$)
   $\text{RNN}$		对于输入序列是顺序重复(串行)处理，无法并行
   自注意力		每个词可感知到其它任何词$\text{→}$可并行处理

3️⃣多头注意力机制

1. 结构：多个注意力头连结然后线性变换
   
   • 头汇聚：输出$\stackrel{全连接层}{\leftarrow }{\mathbf{W}}_o\left[\begin{array}{c}{\mathbf{h}}_1\\ ⋮\\ {\mathbf{h}}_h\end{array}\right]\underset{线性变换(连结)}{\overset{可学习参数{\mathbf{W}}_o\text{∈}{\mathbb{R}}^{p_o}}{\leftarrow }}{\mathbf{h}}_i\text{=}f\left({\mathbf{W}}_i^{(q)}\mathbf{q},{\mathbf{W}}_i^{(k)}\mathbf{k},{\mathbf{W}}_i^{(v)}\mathbf{v}\right)\text{∈}{\mathbb{R}}^{p_v}$
   • 注意头：${\mathbf{h}}_i\text{=}f\left({\mathbf{W}}_i^{(q)}\mathbf{q},{\mathbf{W}}_i^{(k)}\mathbf{k},{\mathbf{W}}_i^{(v)}\mathbf{v}\right)\text{∈}{\mathbb{R}}^{p_v}\stackrel{汇聚函数f}{\leftarrow }\{\begin{array}{l}{\mathbf{W}}_i^{(q)}\mathbf{q}\underset{全连接层}{\overset{可学习参数{\mathbf{W}}_i^{(q)}\text{∈}{\mathbb{R}}^{p_q\text{×}{d}_q}}{\leftarrow }}\mathbf{q}\\ \\ {\mathbf{W}}_i^{(k)}\mathbf{k}\underset{全连接层}{\overset{可学习参数{\mathbf{W}}_i^{(k)}\text{∈}{\mathbb{R}}^{p_k\text{×}{d}_k}}{\leftarrow }}\mathbf{k}\\ \\ {\mathbf{W}}_i^{(v)}\mathbf{v}\underset{全连接层}{\overset{可学习参数{\mathbf{W}}_i^{(v)}\text{∈}{\mathbb{R}}^{p_v\text{×}{d}_v}}{\leftarrow }}\mathbf{v}\end{array}$
2. 意义：每个头关注输入的不同部分$\text{→}$表示比简单加权平均值更复杂的函数

$\text{3.3. }\text{Transformer}$架构

1️⃣编码器与解码器

1. 编码器：
   • 层结构：$n\text{×}$(多头自注意力层$\text{+}$前馈网络层)
   • 残差连接：$\text{Multihead(}\text{X})/\text{Forward(}\text{X})\text{+}\text{X}\text{→}$输入$\text{Add-Norm}$，目的在于防止梯度消失
2. 解码器：
   • 层结构：$n\text{×}$(多头自注意力层$\text{+}$编码解码注意力中间层$\text{+}$前馈网络层)
   • 中间层：$\text{Q}$来自解码层，$\text{KV}$来自编码层
   • 掩码：使得解码器只能考虑所在位置之前的位置，从而实现了自回归

2️⃣其它结构

1. 基于位置的前馈网络：就是一个两层的$\text{MLP}$，将词元位置的隐藏表示$\stackrel{转化}{\to }$同维度新向量
2. 加法和规范化组件：完成残差连接与层归一化(均值$\text{=0}$/方差$\text{=1}$)