大型语言模型（LLM）展现出惊人的“情境学习”能力，即能够根据输入序列中的示例准确预测新查询的响应，而无需任何额外的权重更新。这种学习方式与传统模型中通过权重学习查询-输出关系的方式形成鲜明对比。那么，训练数据的分布和模型架构的哪些方面会影响情境学习和权重学习之间的权衡呢？

近年来，研究表明，语言中固有的某些分布特性，例如突发性、庞大的词典和偏斜的词频分布，控制着这两种学习形式之间的权衡，甚至可能同时出现。

本文将深入探讨情境学习背后的机制，特别是诱导头的形成，并解释这种突现学习现象背后的原因。

简单的模型，复杂的行为

研究人员利用一个简化的模型，即一个包含两个注意力层的网络，来模拟大型语言模型的情境学习。该模型被训练来预测目标项目的类别标签，该标签由输入序列中的N个项目-标签对给出。通过改变训练数据中类别分布的各种参数，研究人员发现，该模型能够重现先前研究中发现的与情境学习相关的关键数据分布特性。

这些特性包括：

• 突发性（B）：指输入序列中来自特定类别的项目的出现次数。突发性越高，情境学习越强，权重学习越弱。
• 类别数量（K）：类别数量越多，情境学习越强，权重学习越弱。
• 类内变异性（ε）：类内变异性越高，情境学习越强，权重学习越弱。
• 词频分布：遵循齐夫定律（α=1）的词频分布可以同时促进情境学习和权重学习。

诱导头：情境学习的关键

研究人员发现，情境学习的突现与诱导头的形成密切相关。诱导头是一种由多个注意力层组成的结构，能够实现零样本复制，即即使训练数据中从未出现过x和ℓ的组合，也能根据输入序列…x, ℓ…x, ?预测ℓ。

通过对模型进行仔细的实验，研究人员发现，诱导头的形成会导致情境学习的突现。具体来说，模型会先学习一个独立的次优策略，并经历一个缓慢的学习阶段，然后突然形成诱导头，从而实现情境学习。

“顿悟”背后的秘密：损失函数的“悬崖”

为了进一步解释情境学习的突现机制，研究人员构建了一个现象学模型，该模型包含诱导头的关键要素和分类器。该模型的损失函数包含三个嵌套的逻辑斯蒂函数，分别对应于第一个注意力层、第二个注意力层和第三个softmax层。

研究人员发现，损失函数的形状类似于一个“悬崖”。模型会先沿着“悬崖”缓慢地学习，然后突然跌落“悬崖”，迅速学习诱导头，从而实现情境学习。

结论与展望

本文研究表明，大型语言模型的情境学习是由诱导头的形成驱动的，而诱导头的形成是一个突现的过程，其背后的机制与损失函数的形状有关。

该研究对理解大型语言模型的学习机制具有重要意义，并为以下研究方向提供了启示：

• 探索诱导头在更复杂的情境学习任务中的作用。
• 研究如何利用课程学习来加速大型语言模型的情境学习。
• 开发新的方法来解释大型语言模型的学习机制。

参考文献

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., … & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.
• Chan, K., Olsson, A., & Singh, S. (2022). The mechanistic basis of data dependence in in-context learning. arXiv preprint arXiv:2210.07423.
• Olsson, A., Chan, K., & Singh, S. (2022). In-context learning is not just memorization: Evidence for induction heads. arXiv preprint arXiv:2209.14618.
• Garg, S., Aky¨urek, E., & Dyer, C. (2022). In-context learning is parameter-efficient and robust to distributional shift. arXiv preprint arXiv:2203.04233.