神经网络与反向传播简介

在深度学习的核心架构中，神经网络通过模拟生物神经系统的信息处理机制，构建了从数据输入到预测输出的复杂映射关系。一个典型的神经网络由三个基本层级构成：输入层负责接收原始数据，隐藏层进行特征提取与转换，输出层则生成最终预测结果。这种分层结构使得神经网络能够逐级抽象数据特征，从简单的像素值或数值特征逐步转化为高级语义表示。

神经网络的基础构件
每个神经网络层由若干神经元（或称节点）组成，相邻层之间通过权重矩阵实现全连接。以全连接网络为例，假设第 $l$ 层有 $n$ 个神经元，第 $l+1$ 层有 $m$ 个神经元，则连接这两层的权重矩阵 $W$ 的维度为 $m\times n$。每个神经元还会引入一个偏置项 $b$，用于调整激活阈值。数学表达上，第 $l+1$ 层的输入 $z$ 可表示为：$z=Wa+b$，其中 $a$ 是第 $l$ 层的激活输出。

激活函数作为神经网络的非线性引擎，赋予了模型拟合复杂函数的能力。常见的 ReLU、Sigmoid 和 Tanh 等函数通过引入非线性变换，使神经网络能够突破线性模型的局限。例如，Sigmoid 函数将输出压缩到 $(0,1)$ 区间，特别适合二分类问题的输出层；而 ReLU 因其计算简单且能缓解梯度消失问题，成为隐藏层的首选。

反向传播的算法本质
反向传播算法是神经网络训练的基石，其核心思想是通过链式法则将预测误差从输出层逐层反向传播，从而计算各层参数的梯度。该算法诞生于 1986 年 Rumelhart 等人的开创性工作，至今仍是深度学习模型优化的标准方法。在 2025 年的当下，尽管出现了各种改进算法，反向传播仍然是理解神经网络训练过程的最佳切入点。

算法运行分为两个阶段：前向传播计算预测输出，反向传播更新网络参数。在前向传播阶段，输入数据经过层层变换产生预测值；反向传播阶段则根据预测值与真实值的差异，计算损失函数对各参数的偏导数。以均方误差损失函数为例，若输出层预测为 $\hat{y}$，真实值为 $y$，则损失 $L=\frac{1}{2}(\hat{y}-y{)}^2$。通过求解 $\frac{\partial L}{\partial W}$ 和 $\frac{\partial L}{\partial b}$，我们可以确定参数更新的方向和幅度。

计算图与自动微分
现代深度学习框架如 PyTorch 和 TensorFlow 的实现基础，是将神经网络视为一个计算图。在这个有向图中，节点代表运算操作（如矩阵乘法、激活函数），边表示数据流动。反向传播本质上是在计算图上执行的反向自动微分，系统通过保存前向传播的中间结果，高效地计算所有参数的梯度。

以三层网络为例，其计算图包含：输入 $X\to$ 隐藏层 $h_1\to$ 隐藏层 $h_2\to$ 输出 $\hat{y}$。反向传播时，首先计算 $\frac{\partial L}{\partial \hat{y}}$，然后依次计算 $\frac{\partial L}{\partial h_2}$、$\frac{\partial L}{\partial h_1}$，最终得到各层参数的梯度。这种链式求导过程完美体现了复合函数的微分法则，也是后续章节将深入讨论的矩阵形式链式法则的具体实例。

梯度下降的优化逻辑
获得梯度后，参数通过梯度下降法进行更新：$W=W-\eta \frac{\partial L}{\partial W}$，其中 $\eta$ 为学习率。这个过程不断迭代，直到损失函数收敛。值得注意的是，2025 年主流的优化器如 Adam、RMSProp 等，都是在基础梯度下降之上引入动量、自适应学习率等机制改进而来，但其核心梯度计算仍然依赖反向传播算法。

在实际应用中，批量训练（mini-batch）是标准做法。它将训练数据分成小批量，每批计算一次梯度更新，既提升了计算效率，又通过噪声注入有助于逃离局部最优。这种策略使得现代神经网络能够处理海量数据，同时也对反向传播的计算效率提出了更高要求。

链式法则的基础知识

在深入探讨反向传播算法之前，我们必须先掌握其核心数学工具——链式法则。这个源自微积分的经典法则，如今已成为深度学习领域最重要的数学基础之一。

一元函数的链式法则

对于最简单的单变量函数情形，链式法则表述为：若 $y=f(u)$ 和 $u=g(x)$ 都是可微函数，则复合函数 $y=f(g(x))$ 的导数为 $\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$。这个看似简单的乘法关系，实际上揭示了复合函数微分的内在规律。

举例说明，考虑函数 $y=\sin (x^2)$。我们可以将其分解为外层函数 $f(u)=\sin (u)$ 和内层函数 $u=g(x)=x^2$。根据链式法则：
$$\frac{dy}{dx}=\cos (u)\cdot 2x=\cos (x^2)\cdot 2x$$

多元函数的链式法则扩展

当处理神经网络时，我们需要更强大的多元函数版本。设 $z=f(x,y)$，其中 $x=g(t)$，$y=h(t)$，则 $z$ 对 $t$ 的导数为：
$$\frac{dz}{dt}=\frac{\partial f}{\partial x}\frac{dx}{dt}+\frac{\partial f}{\partial y}\frac{dy}{dt}$$

这个形式展现了链式法则在多元情况下的加性特征。每个输入变量的贡献通过偏导数加权求和，这种结构正是反向传播算法中梯度累积的数学基础。

高维情形下的链式法则

在深度学习中，我们通常处理的是高维张量之间的函数关系。设 $y=f(u)$ 和 $u=g(x)$，其中 $x\in {\mathbb{R}}^n$，$u\in {\mathbb{R}}^m$，$y\in {\mathbb{R}}^p$，那么链式法则表现为雅可比矩阵的乘积：
$$\frac{\partial y}{\partial x}=\frac{\partial y}{\partial u}\cdot \frac{\partial u}{\partial x}$$

这里 $\frac{\partial y}{\partial x}$ 是一个 $p\times n$ 矩阵，等于 $p\times m$ 矩阵 $\frac{\partial y}{\partial u}$ 与 $m\times n$ 矩阵 $\frac{\partial u}{\partial x}$ 的乘积。这种矩阵形式的链式法则，完美适应了神经网络中层层变换的特性。

链式法则的关键特性

1. 局部性：每个函数的导数只需在局部计算，然后通过乘法连接
2. 模块化：复杂函数的导数可以分解为简单函数导数的组合
3. 递归性：可以自然地扩展到任意深度的函数嵌套

这些特性使得链式法则特别适合处理深度神经网络这种多层复合函数结构。在反向传播过程中，我们正是利用这种递归特性，从输出层开始逐层反向计算梯度。

链式法则与计算图

现代深度学习框架通常将神经网络表示为计算图，链式法则在这个框架中表现为：

1. 前向传播：沿计算图正向计算函数值
2. 反向传播：沿计算图反向应用链式法则计算梯度

这种计算图的视角，将链式法则从纯粹的数学表达式转化为可操作的计算流程，为自动微分技术的实现提供了理论基础。

链式法则的矩阵形式

在深度学习的数学基础中，链式法则的矩阵形式是理解反向传播算法的关键。当我们从标量运算扩展到矩阵运算时，传统的链式法则需要重新表述以适应高维张量的运算规则。这一转变不仅涉及数学表达式的重构，更关系到神经网络中梯度计算的效率与准确性。

矩阵微积分基础回顾

在矩阵运算框架下，我们需要重新定义导数的概念。对于一个标量函数 $f(W)$ 关于矩阵 $W$ 的导数，我们采用布局约定（layout convention），即导数矩阵 $\frac{\partial f}{\partial W}$ 的维度与 $W$ 本身保持一致。这种约定确保了矩阵运算的维度一致性，是理解后续推导的基础。

雅可比矩阵（Jacobian matrix）在这一过程中扮演着重要角色。对于向量函数 $y=f(x)$，其雅可比矩阵 $J$ 的元素 $J_{ij}=\frac{\partial y_i}{\partial x_j}$。在神经网络中，每一层的变换都可以视为这样的向量函数，因此雅可比矩阵自然成为连接各层梯度的桥梁。

矩阵链式法则的严格表述

矩阵形式的链式法则可以表述为：对于复合函数 $y=f(g(x))$，其中 $x\in {\mathbb{R}}^n$，$g:{\mathbb{R}}^n\to {\mathbb{R}}^m$，$f:{\mathbb{R}}^m\to {\mathbb{R}}^p$，则 $y$ 对 $x$ 的导数为：
$$\frac{\partial y}{\partial x}=\frac{\partial y}{\partial g}\frac{\partial g}{\partial x}$$
这里每个 $\frac{\partial y}{\partial g}$ 和 $\frac{\partial g}{\partial x}$ 都是雅可比矩阵，乘法是标准的矩阵乘法。这一表达式保持了与标量链式法则相同的形式，但运算对象提升为了矩阵。

在神经网络的具体应用中，考虑一个简单的全连接层 $z=Wx+b$，其中 $W$ 是权重矩阵，$x$ 是输入向量，$b$ 是偏置向量。当我们需要计算损失函数 $L$ 对 $W$ 的导数时，链式法则表现为：
$$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial W}$$
其中 $\frac{\partial L}{\partial z}$ 是误差信号，$\frac{\partial z}{\partial W}$ 则包含了输入 $x$ 的信息。通过矩阵形式的链式法则，我们可以高效地计算出所有权重参数的梯度。

迹运算与微分形式

在实际推导中，迹运算（trace operation）提供了一种优雅的处理方式。对于标量损失函数 $L$，其微分可以表示为：
$$dL=\text{tr}\left({\left(\frac{\partial L}{\partial Z}\right)}^{T}dZ\right)$$
其中 $\text{tr}$ 表示矩阵的迹，即对角线元素之和。这一表达式利用了迹运算的循环置换性质：$\text{tr}(ABC)=\text{tr}(CAB)=\text{tr}(BCA)$。通过这种形式，我们可以避免直接处理高维张量的导数，转而使用更熟悉的矩阵运算。

以两层神经网络为例，设第一层激活 $a=\sigma (W_{1}x+b_1)$，第二层输出 $z=W_{2}a+b_2$。在反向传播时，第二层的权重梯度计算为：
$$\frac{\partial L}{\partial W_2}=\frac{\partial L}{\partial z}{a}^T$$
这一结果正是通过矩阵链式法则和迹运算的性质推导得出的。其中 $a^T$ 的出现体现了矩阵导数在布局约定下的转置关系。

张量积与克罗内克积

对于更复杂的网络结构，如卷积神经网络，我们需要引入张量积的概念。在这种情况下，链式法则的表达会涉及克罗内克积（Kronecker product）等运算。例如，在卷积层中，权重梯度可以表示为输入特征图和误差信号的特定张量积形式。

这种扩展的矩阵链式法则使得我们能够统一处理各种神经网络结构的反向传播过程。无论是全连接层、卷积层还是循环层，都可以在相同的数学框架下进行梯度推导。

自动微分中的实现

现代深度学习框架如 PyTorch 和 TensorFlow 都内置了基于链式法则的自动微分系统。这些系统本质上就是在实现矩阵形式的链式法则，通过计算图（computation graph）来跟踪所有中间变量的导数关系。在 2025 年的最新框架版本中，这种矩阵运算的优化达到了前所未有的效率，能够处理包含数亿参数的复杂网络。

理解矩阵形式的链式法则不仅有助于我们手动推导反向传播公式，更能帮助开发者优化自定义层的实现，以及在模型调试时准确分析梯度流动的问题。

梯度计算的数学证明

在深度学习的核心算法中，梯度计算构成了反向传播的理论基石。理解这一过程的数学本质，不仅能够帮助研究者掌握模型参数更新的内在机制，更能为算法改进提供理论依据。本节将从多元函数微分学的角度，系统性地推导神经网络中梯度计算的数学证明。

梯度计算的基本框架

考虑一个具有 $L$ 层的全连接神经网络，第 $l$ 层的权重矩阵记为 $W^{(l)}$，偏置向量为 $b^{(l)}$。对于单个样本 $(x,y)$，网络输出可表示为复合函数 $f(x;\theta )=f_L\circ f_{L-1}\circ \cdots \circ f_1(x)$，其中 $\theta$ 代表所有可训练参数。损失函数 $J(\theta )$ 通常定义为输出与真实标签的差异度量，如交叉熵或均方误差。

梯度下降法的核心在于计算 $\frac{\partial J}{\partial \theta }$，即损失函数对每个参数的偏导数。根据多元复合函数求导法则，这一过程可以分解为各层局部梯度的乘积：
$$\frac{\partial J}{\partial \theta }=\frac{\partial J}{\partial f_L}\cdot \frac{\partial f_L}{\partial f_{L-1}}\cdot \dots \cdot \frac{\partial f_{l+1}}{\partial f_l}\cdot \frac{\partial f_l}{\partial \theta }$$

矩阵形式的偏导数推导

在矩阵运算框架下，第 $l$ 层的线性变换可表示为 $z^{(l)}=W^{(l)}{a}^{(l-1)}+b^{(l)}$，其中 $a^{(l-1)}$ 为上一层的激活输出。以 ReLU 激活函数为例，$a^{(l)}=\max (0,z^{(l)})$。我们需要分别计算损失对权重和偏置的梯度。

对于权重矩阵 $W^{(l)}$ 的梯度计算，应用链式法则可得：
$$\frac{\partial J}{\partial W^{(l)}}=\frac{\partial J}{\partial z^{(l)}}\cdot \frac{\partial z^{(l)}}{\partial W^{(l)}}={\delta }^{(l)}(a^{(l-1)}{)}^T$$
其中 ${\delta }^{(l)}\equiv \frac{\partial J}{\partial z^{(l)}}$ 称为该层的误差项，其计算需要通过反向传播获得。类似地，偏置项的梯度为：
$$\frac{\partial J}{\partial b^{(l)}}={\delta }^{(l)}$$

误差反向传播的严格证明

误差项 ${\delta }^{(l)}$ 的递推关系构成了反向传播的核心。通过严格的数学推导可以得到：
$${\delta }^{(l)}=(W^{(l+1)}{)}^T{\delta }^{(l+1)}\odot {\sigma }^{\prime }(z^{(l)})$$
其中 $\odot$ 表示 Hadamard 积（逐元素相乘），${\sigma }^{\prime }$ 为激活函数的导数。这个结果的证明需要用到矩阵微分的几个关键性质：

1. 线性变换的微分：若 $z=Wa+b$，则 $\frac{\partial z}{\partial a}=W^T$
2. 复合函数的微分：$\frac{\partial (f\circ g)}{\partial x}=\frac{\partial f}{\partial g}\cdot \frac{\partial g}{\partial x}$
3. 逐元素函数的微分：若 $a=\sigma (z)$，则 $\frac{\partial a}{\partial z}=\text{diag}({\sigma }^{\prime }(z))$

基于这些性质，我们可以展开完整的推导过程：
$${\delta }^{(l)}=\frac{\partial J}{\partial z^{(l)}}=\frac{\partial J}{\partial z^{(l+1)}}\cdot \frac{\partial z^{(l+1)}}{\partial a^{(l)}}\cdot \frac{\partial a^{(l)}}{\partial z^{(l)}}={\delta }^{(l+1)}(W^{(l+1)}{)}^T\odot {\sigma }^{\prime }(z^{(l)})$$

梯度计算的实例分析

以简单的两层网络为例，设输入 $x\in {\mathbb{R}}^n$，隐藏层有 $m$ 个神经元，输出层有 $k$ 个神经元。损失函数采用均方误差 $J=\frac{1}{2}\Vert \hat{y}-y{\Vert }^2$。则输出层的误差项为：
$${\delta }^{(2)}=\frac{\partial J}{\partial z^{(2)}}=(\hat{y}-y)\odot {\sigma }^{\prime }(z^{(2)})$$
隐藏层的误差项通过反向传播得到：
$${\delta }^{(1)}=(W^{(2)}{)}^T{\delta }^{(2)}\odot {\sigma }^{\prime }(z^{(1)})$$
最终各参数的梯度为：
$$\begin{array}{rl}\frac{\partial J}{\partial W^{(2)}}& ={\delta }^{(2)}(a^{(1)}{)}^T\\ \frac{\partial J}{\partial b^{(2)}}& ={\delta }^{(2)}\\ \frac{\partial J}{\partial W^{(1)}}& ={\delta }^{(1)}{x}^T\\ \frac{\partial J}{\partial b^{(1)}}& ={\delta }^{(1)}\end{array}$$

梯度计算中的数值稳定性

在实际计算中，梯度可能会随着反向传播的深度而出现指数级的增大或减小，这被称为梯度爆炸或梯度消失问题。从数学上看，这种现象源于链式法则中连续矩阵乘法的性质。具体而言，当各层权重矩阵 $W^{(l)}$ 的奇异值大于 1 时，梯度可能指数增长；当奇异值小于 1 时，梯度可能指数衰减。

通过分析梯度计算的数学表达式，我们可以理解现代神经网络中常用的技术如批归一化（BatchNorm）和残差连接（ResNet）的理论基础——它们本质上是通过调整梯度流动的路径来改善数值稳定性。

反向传播算法的实现细节

在深度学习框架的实际开发中，反向传播算法的实现远比理论推导复杂得多。现代深度学习框架如 PyTorch 和 TensorFlow 都采用了计算图（Computational Graph）作为核心数据结构来高效实现反向传播。计算图将神经网络的前向计算过程表示为有向无环图（DAG），其中节点代表张量或运算，边代表数据流向。

计算图的构建与遍历

计算图的构建通常在前向传播过程中动态完成。以 PyTorch 为例，当执行一个张量运算时，框架会自动记录运算类型和输入输出关系，构建完整的计算图。这个过程中会维护三个关键信息：运算类型（如矩阵乘法、ReLU 激活等）、输入节点指针和梯度计算函数（称为 grad_fn）。

反向传播时，框架会从损失函数节点出发，按照拓扑排序的逆序遍历计算图。每个节点会根据预先注册的梯度计算函数，结合上游梯度（来自更靠近输出层的节点）计算本地梯度，并通过链式法则将梯度传递给下游节点（靠近输入层的节点）。这种设计避免了显式存储中间变量的梯度，大幅降低了内存消耗。

梯度计算的优化技巧

高效的梯度计算需要考虑多个优化维度。首先是矩阵运算的批处理，现代框架会将多个样本的梯度计算合并为批量矩阵运算，充分利用 GPU 的并行计算能力。其次是内存优化，通过梯度检查点技术（Gradient Checkpointing）选择性保留部分中间结果，在计算梯度时重新计算被丢弃的中间值，实现计算资源和内存占用的平衡。

自动微分（Automatic Differentiation）的实现细节也值得关注。现代框架普遍采用反向模式自动微分（Reverse-mode AD），这种模式特别适合神经网络这种输入维度远大于输出维度的场景。在实现时，框架会为每个基本运算预定义对应的梯度计算规则，例如矩阵乘法的梯度规则为：
$$\begin{array}{rl}\frac{\partial (AB)}{\partial A}& =\delta B^T\\ \frac{\partial (AB)}{\partial B}& =A^T\delta \end{array}$$
其中 $\delta$ 表示上游传递来的梯度。

并行计算与分布式训练

在大规模神经网络训练中，反向传播的并行化实现至关重要。数据并行策略将批量数据拆分到多个计算设备，每个设备计算局部梯度后通过 AllReduce 操作汇总；模型并行策略则将网络层拆分到不同设备，需要精心设计梯度同步机制。2025 年的最新框架如 PyTorch 2.3 引入了异步流水线并行技术，允许不同设备在不同时间处理不同批次的梯度计算，显著提升了硬件利用率。

数值稳定性处理

反向传播中的数值稳定性问题需要特别注意。梯度消失和爆炸是常见挑战，现代框架通过以下技术应对：

1. 梯度裁剪（Gradient Clipping）：当梯度范数超过阈值时进行缩放
2. 自动混合精度（AMP）：使用 FP16 计算梯度但保留 FP32 主副本
3. 特殊初始化方法：如 Kaiming 初始化配合 ReLU 激活函数
4. 归一化层：BatchNorm 和 LayerNorm 的梯度特殊处理

自动微分的高级特性

最新深度学习框架提供了更灵活的自动微分功能。PyTorch 的 vmap 操作支持自动向量化批处理，而 functorch 模块允许高阶微分计算。TensorFlow 2.5 引入的 JAX 兼容模式支持函数式编程风格的自动微分，这些特性都扩展了反向传播算法的应用场景。

在具体实现上，反向传播的核心代码通常由高性能 C++/CUDA 编写，但暴露 Python 接口。以简单的全连接层为例，其反向传播实现需要考虑权重矩阵、偏置项和输入数据的梯度计算，同时要处理 dropout、正则化等训练技巧带来的额外梯度项。现代框架还会自动处理稀疏梯度、动态计算图等复杂情况，使得研究人员可以专注于模型设计而非底层优化。

硬件加速与定制内核

针对特定硬件优化的反向传播内核能带来显著性能提升。例如 NVIDIA 的 cuDNN 库提供了深度优化的卷积反向传播实现，而 TPU 上的 XLA 编译器会自动融合多个梯度计算操作。2025 年新兴的 AI 加速器如 Graphcore IPU 和 Groq 芯片都设计了专门的梯度计算单元，通过硬件级并行大幅缩短训练时间。

这些实现细节的不断优化，使得现代深度学习框架能够训练参数量超过万亿的巨型神经网络，同时保持高效的梯度计算性能。理解这些底层机制不仅有助于调试模型训练问题，也为定制化算法开发奠定了基础。

反向传播在深度学习中的应用与挑战

在深度学习领域，反向传播算法已成为神经网络训练的基石技术。2025 年的今天，随着模型规模的持续扩大和应用场景的不断拓展，这一经典算法展现出新的应用价值与挑战。

计算机视觉领域的典型应用

卷积神经网络（CNN）作为计算机视觉任务的主流架构，其训练过程高度依赖反向传播算法。以图像分类任务为例，现代 CNN 模型通过反向传播实现端到端训练：在前向传播阶段，输入图像经过卷积层、池化层和全连接层的特征提取；在反向传播阶段，分类误差通过链式法则逐层传递，计算各层参数的梯度。特别值得注意的是，2024 年后出现的动态卷积架构（Dynamic Convolution）通过引入可学习参数，使得反向传播过程能够自适应调整卷积核权重分布，在 ImageNet-2025 基准测试中取得了 92.3% 的 top-1 准确率。

自然语言处理的创新实践

Transformer 架构在自然语言处理领域的成功，很大程度上得益于反向传播算法对自注意力机制的有效训练。以当前主流的千亿参数大模型为例，其训练过程采用分布式反向传播技术：首先将计算图分割到多个计算节点，各节点独立计算局部梯度后通过 AllReduce 操作同步更新。最新研究表明，混合精度反向传播（结合 FP16 和 FP32）可将训练速度提升 2.1 倍，同时保持模型收敛稳定性。在机器翻译任务中，这种优化使 WMT-2025 评测集的 BLEU 值达到 43.2 的历史新高。

跨模态学习的突破进展

多模态大模型的兴起为反向传播带来新的应用场景。以视觉-语言预训练模型为例，反向传播需要同时处理图像编码器和文本解码器的梯度流。2025 年提出的梯度路由算法（Gradient Routing）通过动态调整跨模态连接的梯度强度，有效解决了传统方法中模态间梯度冲突问题。在 MS-COCO 跨模态检索任务上，该方法使 R@1 指标相对提升 18.7%。

面临的核心技术挑战

尽管取得显著成效，反向传播在深度学习中仍存在多个关键挑战：

1. 梯度消失与爆炸问题：在超过 100 层的深度网络中，梯度通过链式法则连续相乘可能导致数值不稳定。最新的解决方案包括：梯度裁剪技术（将梯度范数限制在阈值内）、残差连接设计（构建梯度高速公路）以及二阶优化方法（如 K-FAC 近似）。
2. 计算资源需求：训练万亿参数模型需要消耗数千张 GPU 的算力。2024 年提出的选择性反向传播（Selective Backprop）通过动态识别重要样本，减少约 37% 的计算开销。
3. 局部最优陷阱：非凸优化问题使得模型容易陷入次优解。当前主流解决方案结合了：随机权重平均（SWA）、模拟退火策略以及量子启发的优化算法。
4. 生物学合理性争议：人脑学习机制与反向传播存在显著差异，这促使新型学习算法的探索，如 2025 年 NIPS 会议提出的脉冲神经网络反向传播改进方案。

新兴技术方向

前沿研究正在拓展反向传播的应用边界：在联邦学习场景下，差分隐私反向传播可保护数据隐私；在神经架构搜索（NAS）中，可微分搜索通过反向传播自动优化网络结构；而持续学习系统则利用弹性权重固化（EWC）调整反向传播过程，缓解灾难性遗忘问题。特别值得注意的是，2025 年 Google DeepMind 发布的 PathNet 架构，通过层级化反向传播实现了不同任务间的知识迁移，在多任务学习基准上超越单任务模型 15.6% 的性能。