1 引言

 近日，意大利罗马第一大学的GLADIA Research Lab团队发表的论文《Language Models Are Injective and Hence Invertible》在学术界与科技圈引发热议，甚至连马斯克旗下的Grok官方账号也进行了转发。论文提出了一个颇具颠覆性的观点：主流Transformer语言模型在处理文本时几乎不会丢失任何输入信息，从数学上看，它们是可逆的。换言之，模型的隐藏状态并非模糊的语义压缩，而是一种完整保留输入内容的精确重编码。这一发现挑战了人们对语言模型“理解”与“表示”的传统认知，并引出了一个核心问题——这种理论上的信息保持，是否在真实模型中也能被验证？为此，研究团队开展了大规模实证研究，从实验层面检验Transformer的单射性与可逆性假设。

2 研究背景

 在语言模型的发展过程中，Transformer架构长期被认为在信息表示中存在信息损失问题，因为其包含的非线性激活函数（如GELU、ReLU）、归一化（LayerNorm）和注意力机制通常被视为非单射操作，不同输入可能映射到相同的隐状态，使得模型内部表示难以完全反推，成为可解释性与安全性研究中的核心难题。然而，该论文的作者提出了相反的观点：通过理论证明与大规模实证研究指出，Transformer语言模型在数学意义上实际上是单射的，即不同输入几乎不会映射到相同的隐藏表示，因此语言模型本质上是可逆的。

 从理论分析视角出发，认为例如归一化机制、注意力机制等组件极可能导致输入信息丢失，从而令整体映射非单射、模型难以逆向；

论文名称	方法概述	局限性
LN-2016 Layer Normalization	提出LayerNorm以稳定训练过程，通过对每层激活进行归一化来减少梯度爆炸	在每个样本内进行统计归一化，可能导致信息坍缩（信息不可逆），影响整体单射性
ATTN-2020 Attention that does not Explain Away	分析 Transformer注意力的非均匀性，指出注意力可能过度聚焦而忽略部分输入特征	局限于解释性分析，未量化信息损失，也未从整体结构验证可逆性
INJ-2025 Language Models Are Injective and Hence Invertible	通过实分析和测度论证明 Transformer 在整体上为单射映射，并提出 SIPIT 反演算法验证可逆性	提供理论与实证支持，但尚未讨论噪声与量化误差下的鲁棒性

  从经验观察视角出发，研究者通过从隐藏状态反推输入探讨语言模型隐藏表示的信息保留情况。

论文名称	方法概述	局限性
InfoLeak-2024 Information Leakage from Embedding in Large Language Models	研究通过从Transformer某层隐藏嵌入中重建原始输入文本，提出多种“嵌入反演”方法来评估信息泄露风险	方法基于嵌入空间近似反演，结果依赖训练样本，无法保证精确恢复
InvNext-2025 Better Language Model Inversion by Compactly Representing Next-Token Distributions	研究如何利用语言模型的下一词分布信息反演隐藏状态，并重构输入提示	假设模型输出分布可充分代表内部表示，忽视上下文依赖误差
TextRevealer-2022 Text Revealer: Private Text Reconstruction via Model Inversion Attacks against Transformers	对Transformer模型进行文本反演攻击，通过训练反演器从隐藏状态重构私密文本	攻击需访问模型中间层信息，现实部署中难以直接利用

 然而，这些工作均存在各自局限：理论类研究多聚焦于单一子模块的非单射性假设、忽视整体函数结构；经验类研究则依赖训练近似或辅助模型，无法提供严格数学上的可逆性保证。该论文即正是在这种背景下提出：过去的假设其实过于悲观，其要解决的问题包括证明整个Transformer语言模型是否为单射映射、解释为何训练过程不会破坏这一性质，并从实证角度检验隐藏状态是否真的存在碰撞、是否可逆，从而挑战“隐藏状态是语义模糊压缩”的传统认知。

---

3 论文方法

 该论文的核心贡献在于，从数学分析与测度论的角度，严格证明了Transformer 语言模型在几乎处处上是单射的，从而在理论上是可逆的。以下为论文的主要数学方法逻辑与核心公式整理。

3.1 问题定义：语言模型作为映射函数

 论文首先将Transformer语言模型形式化为一个确定性的高维映射函数： $$F:\mathcal{X}\to \mathcal{H}$$ 其中，$\mathcal{X}$表示离散的输入序列空间，$\mathcal{H}$表示连续的高维隐藏状态空间。换言之，语言模型可以被看作一个从符号化文本输入到连续表征的函数变换器，其内部各层对输入进行逐步非线性映射与特征重编码。 研究的核心问题是：该映射$F$是否保持信息的单射性，即不同输入是否始终被映射为不同的隐藏表示。形式上，这一条件可表达为：$$F(x_1)=F(x_2)⟹x_1=x_2,$$若此命题在几乎所有点上成立，则称$F$是“几乎处处单射”。 这意味着对于除了极少数退化情况以外的输入，模型的隐藏状态都能唯一确定输入本身。 若进一步存在连续可微的反函数$F^{-1}$，则该模型在数学意义上是可逆的。 论文的目标正是证明这种可逆性在 Transformer 架构中不仅理论上成立，而且在训练后的实际模型中几乎处处得以保持。

引申1（单射的定义）：
单射是指一种具有一一对应关系的函数映射。形式上，若给定两个集合$\mathcal{X}$与$\mathcal{Y}$，函数 $$f:\mathcal{X}\to \mathcal{Y}$$ 称为单射，当且仅当满足以下条件：$$\forall x_1,x_2\in \mathcal{X},f(x_1)=f(x_2)⟹x_1=x_2.$$ 换言之，单射要求不同的输入不会映射到相同的输出，每一个输出值至多对应一个输入值，从而函数$f$在定义域上的每个元素都有唯一的像。若函数$f$是单射，则存在一个从值域$\text{Im}(f)\subseteq \mathcal{Y}$到定义域$\mathcal{X}$的逆函数$f^{-1}$，使得：$$f^{-1}(f(x))=x,\forall x\in \mathcal{X}$$因此，单射性是函数可逆性的必要条件。

3.2 理论基础：实解析函数的零测度性质

 在理论部分引用了实解析函数中的一个核心性质，这一数学结论构成了整篇论文证明语言模型单射性的逻辑基础：

若$f_1,f_2$为定义在${\mathbb{R}}^n$上的实解析函数，则它们的差 $f_1-f_2$ 的零集具有零测度，即 μ ( { x ∈ R n : f 1 ( x ) = f 2 ( x ) } ) = 0 , \mu(\{x \in \mathbb{R}^n : f_1(x) = f_2(x)\}) = 0, μ({x∈Rn:f1​(x)=f2​(x)})=0,其中，$\mu$表示勒贝格测度。

 这一性质在数学分析中具有深远意义：如果两个解析函数在某个区域内相等的点集具有非零测度，那么它们在整个定义域上必须完全相等。因此，在有限维连续空间中，两个不同的解析函数几乎处处不相等，也就是说，它们的“重合”仅可能出现在极少数点上，这些点的集合在测度意义上可以忽略。论文将这一结论推广到神经网络的情境中，Transformer几乎处处保持单射性，不同输入的隐藏表示在数值上几乎不可能完全重合。这为后续“语言模型在数学意义上是可逆的”提供了坚实的理论支撑。

引申2（实解析函数）：
实解析函数是指在局部可以被一个收敛的幂级数精确表示的实值函数。若函数$f:U\subseteq {\mathbb{R}}^n\to \mathbb{R}$， 满足： $$f(x)=\sum _{\alpha \in {\mathbb{N}}^n}{c}_{\alpha }(x-x_0{)}^{\alpha }$$ 在某个邻域$B(x_0,r)$内收敛，则称$f$在$x_0$处为实解析函数。
它不仅无穷可微（$C^{\infty }$），而且其泰勒级数能完全收敛到原函数本身。典型例子包括 $e^x$、$\sin (x)$、$\cos (x)$、$\tanh (x)$、多项式与Softmax等。实解析函数的重要性质是：若$f_1,f_2$ 为不同的实解析函数，则满足 μ ( { x ∈ R n : f 1 ( x ) = f 2 ( x ) } ) = 0 , \mu(\{x \in \mathbb{R}^n : f_1(x) = f_2(x)\}) = 0, μ({x∈Rn:f1​(x)=f2​(x)})=0,即它们相等的点集测度为零。

引申3（测度与勒贝格测度）：
测度是用于刻画集合“大小”的数学概念，定义在集合族上。给定集合$X$和其上一个$\sigma$-代数 $\mathcal{A}$，测度$\mu$是一个非负函数：$$\mu :\mathcal{A}\to [0,+\infty ],$$它满足可加性：对于不相交的集合$A,B\in \mathcal{A}$，有
$$\mu (A\cup B)=\mu (A)+\mu (B).$$ 勒贝格测度是最常用的测度，定义在${\mathbb{R}}^n$上。对于任意集合$A\subset {\mathbb{R}}^n$，勒贝格测度$\mu (A)$可以直观地理解为该集合的“体积”。

• 在$\mathbb{R}$中，区间$[a,b]$的勒贝格测度为$b-a$；
• 在${\mathbb{R}}^n$中，矩形区域$[a_1,b_1]\times \cdots \times [a_n,b_n]$ 的测度为${\prod }_{i=1}^n(b_i-a_i)$。
• 集合$E$的勒贝格测度为零，即$\mu (E)=0$，称$E$为零测度集合，例如点集和可数集合。

3.3 Transformer映射的解析性证明

 作者进一步证明，Transformer模型的主要组成模块——线性层、注意力机制、LayerNorm和激活函数——均是实解析的或解析函数的复合。具体来说：

• 线性层：$f(x)=Wx+b$是一个简单的线性变换，它是解析函数，因为它在整个定义域上连续且可微；
• 激活函数：GELU 是一个平滑的非线性函数，ReLU 在非负域内是分段解析的，即在每个定义区间内都是解析函数；
• Softmax注意力机制：Softmax 函数是一个常见的非线性函数，其定义为$$\text{Softmax}(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}},$$它是解析函数，因为它由指数函数和加法运算构成，且在其定义域内是连续可微的；
• LayerNorm：其公式为表示为$$\text{LN}(x)=\frac{x-\mu (x)}{\sigma (x)},$$其中$\mu (x)$和$\sigma (x)$分别是输入的均值和标准差，它们是解析函数的可微函数，因此LayerNorm也是解析函数。

 由于Transformer模型中的每个模块都是解析函数，且这些函数是有限次复合的，根据解析函数的闭包性质Transformer的整体映射$F$也是一个实解析函数。这意味着Transformer在输入和隐藏状态空间之间的映射是解析的，从而为后续的可逆性证明提供了理论基础。

引申4（闭包）：
闭包指的是在某些操作下保持不变的集合或对象。对于一个集合$\mathcal{S}$和一个运算（如函数复合、加法、乘法等），$\mathcal{S}$的闭包是指在该运算下，$\mathcal{S}$中的元素经过运算后，结果仍然属于$\mathcal{S}$。 闭包保证了在某些运算下，结果仍然属于原集合或类型。

• 解析函数的闭包性质表明：有限次解析函数的复合仍然是解析函数。
• 对于集合$A$，$A$在加法下的闭包是其所有元素的和所组成的集合。

3.4 Transformer的单射性

 根据上述解析性和零测度性质，可以得出以下结论： ∀ x 1 ≠ x 2 , μ ( { x : F ( x 1 ) = F ( x 2 ) } ) = 0 \forall x_1 \neq x_2, \quad \mu(\{x : F(x_1) = F(x_2)\}) = 0 ∀x1​=x2​,μ({x:F(x1​)=F(x2​)})=0即对于不同的输入$x_1$和$x_2$，只有一个零测度的集合使得它们的映射结果相同。换句话说，Transformer模型在几乎所有情况下都是单射的，不同的输入序列几乎总是会映射到不同的隐藏表示。
 这一结论意味着，除了一些零测度的退化输入集合（例如极少数的输入组合），几乎所有的输入在Transformer的高维隐藏空间中都会保持独特的表示，不会发生重叠。因此，模型在理论上是信息保持的，即它能有效地将输入的信息传递到隐藏表示中，而不丢失或压缩信息。 这种单射性也为后续的可逆性证明提供了坚实的基础，意味着我们可以在隐藏状态上实现精确的反向映射，将隐藏表示恢复为输入，从而使得模型在理论上具备可逆性。

3.5 可逆性推论：局部与全局可逆

 由于$F$几乎处处是单射且可微，若其Jacobian矩阵满足：$$\det (J_F(x))\ne 0,$$则根据隐函数定理，可以得出结论：在$F(x)$的局部邻域内存在反函数$F^{-1}$，即模型在该区域内是局部可逆的。这一性质意味着，在任何局部区域内，只要Jacobian矩阵的行列式非零，就可以通过反向映射将隐藏状态精确地恢复为输入。作者进一步指出，通过实证分析，Transformer模型的Jacobian在实际应用中几乎从未出现退化现象，即行列式$\det (J_F(x))$几乎总是非零。因此，在整个输入空间上，模型几乎无处存在退化点。数学上，这可以表达为：$$\mathrm{Pr}[\det (J_F(x))=0]=0,$$这意味着模型在几乎所有输入点上都满足单射性和可逆性，从而保证了Transformer在整个输入空间内是全局可逆的。

3.6 SIPIT算法

 SIPIT算法的目的是通过优化过程实现从Transformer模型的隐藏状态到原始输入文本的精确反演。基于Transformer模型的单射性和可逆性，作者提出了SIPIT算法，旨在实现从隐藏状态到输入文本的精确反演。该算法通过最小化输入与目标隐藏状态之间的差异来恢复原始输入，优化目标为：$$x^{\ast }=\arg \underset{x}{\min }\Vert F(x)-h{\Vert }_2^2,$$
其中， $x$为待优化的输入文本，$h$是目标隐藏状态向量，$F(x)$是Transformer模型生成的隐藏状态。SIPIT使用迭代更新方法，通过计算每次输入$x_t$与目标隐藏状态$h$之间的差异，更新输入：$$x_{t+1}=x_t-\eta {\nabla }_x\Vert F(x_t)-h{\Vert }_2^2,$$其中，$\eta$为学习率，${\nabla }_x\Vert F(x_t)-h{\Vert }_2^2$是梯度。在每次迭代中，输入逐步调整，直到优化问题收敛到唯一解 $x^{\ast }$，从而准确恢复原始输入。SIPIT算法具有高效性、唯一解性，并能扩展到大型 Transformer 模型。

引申5（隐函数定理）：
设函数$F(x,y)$，其中$x\in {\mathbb{R}}^n$，$y\in {\mathbb{R}}^m$，且$F$在点 $(x_0,y_0)$处平滑。若对$y$的雅可比矩$\frac{\partial F}{\partial y}$在该点可逆，隐函数定理保证存在一个邻域$U$和光滑函数$g:U\to V$，使得：$$F(x,g(x))=0,\forall x\in U.$$这意味着可以在该邻域内将$y$解为$x$的函数。
在该论文中，隐函数定理用于证明Transformer模型的局部可逆性。由于模型的Jacobian矩阵几乎处处非零，隐函数定理保证了模型在局部是可逆的，为全局可逆。

---

4 实验结果

4.1 隐状态碰撞检测实验、

 作者首先进行了隐状态碰撞检测实验，以系统性验证 Transformer 模型在高维表示空间中是否存在不同输入映射到相同隐藏表示的情况。实验选取了GPT-2 与 Gemma3-1B等主流模型，覆盖从中型到大型不同参数规模。研究者为每个模型生成并输入了 $10^9$组随机文本序列，提取对应层的隐藏状态向量，并以高精度浮点计算其欧氏距离分布，以评估潜在的碰撞现象。该实验采用穷尽式碰撞搜索，通过在数十亿组输入样本中寻找最相似的前缀样本对，检测是否存在不同输入产生几乎相同隐藏状态的情况。结果如图所示，所有样本的最小距离均远高于碰撞阈值，分布平稳且无异常点，表明在所有模型与数据集组合中均未出现隐状态完全重叠。由此可见，即便在极端数值精度与大规模压力测试条件下，也未观察到任何信息塌缩现象。这一结果说明 Transformer 的映射在浅层与深层均保持稳定的单射性，几乎在所有输入空间上都是可分辨且可逆的，为论文提出的“语言模型在数学意义上是单射且可逆”的核心结论提供了坚实的实证支撑。

4.2 序列长度与隐藏状态可分离性

 下图展示了GPT-2 Small模型在不同序列长度下最后token隐藏状态的$L_2$距离变化，用于验证模型在上下文扩展中的特征可分离性。实验在固定模型参数下输入不同长度的prompt，计算其最后token隐藏状态的最小、平均与最大距离。结果显示，距离在短序列阶段快速上升后趋于稳定，且最小距离始终高于碰撞阈值$10^{-6}$，说明模型在长上下文下仍保持稳定的表示分离性与特征区分度，未出现隐藏状态塌缩。

4.3 模型层级隐状态碰撞分析

 该实验旨在检验Transformer在不同层级上隐藏状态的可分离性与抗碰撞性。研究者以Gemma-3系列模型（1B、4B、12B）为对象，在大规模prompt集上提取各层最后token的隐藏状态，计算不同prompt间的最小L2距离，并以箱线图（对数刻度）展示分布，红色虚线为碰撞阈值$10^{-6}$。结果显示，所有模型在各层的最小距离均远高于阈值，分布稳定无异常，说明模型在各层均保持清晰的特征区分与非重叠性，验证了Transformer隐空间的全局可分离性与信息保持特征。

---