这是人大的一篇大语言模型发展综述，特别好的一篇文章，读后受益良多。这篇文章讨论了机器语言智能的发展，特别是大规模预训练语言模型。详细介绍了从语言模型到统计语言模型，神经语言模型到预训练语言模型的演变。并且不止有一篇工作提出，大规模LLM超出某一参数大小的模型扩展导致了新的能力的涌现，这种现象导致了强大的人工智能聊天机器人的诞生。该综述还强调了评估和了解LLMs的必要性，包括它们的预训练、适应性调整、利用和容量评估。

论文有中英文版本，在下方加小助手获取

目录

• 引入

• 一、摘要 & 介绍

• 二、回顾

• 2.1、背景

• 2.2、LLM 涌现出的能力

• 2.3、LLM 的关键技术

• 2.4、LLM 发展脉络

• 2.5、LLM 模型汇总

• 三、LLMs 资源

• 四、预训练

• 4.1、数据收集

• 4.1.1、数据源

• 4.1.2、数据预处理

• 4.1.3、预训练数据对 LLMs 的影响

• 4.2、网络结构

• 4.2.1、主流架构

• 4.2.2、详细配置

• 4.2.3、预训练任务

• 4.2.4、总结讨论

• 4.3、模型训练

• 4.3.1、优化设置（Optimization Setting）

• 4.3.2、缩放训练技巧（Scalable Training Techniques）

• 五、LLMs 的适配调优

• 5.1、指令微调（Instruction Tuning）

• 5.2、对齐微调（Alignment Tuning）

• 六、利用

• 6.1、语境学习（In-Context Learning）

• 6.2、思维链提示（Chain-of-Thought Prompting）

• 七、能力评估

• 7.1、基础任务

• 7.1.1、语言生成

• 7.1.2、知识利用率

• 7.1.3、复杂推理

• 7.2、高级能力评估

• 7.2.1、人类对戏

• 7.2.2、与外部环境的交互作用

• 7.2.3、扩展能力范围

• 7.3、公共基准测试和经验分析

• 7.3.1、评价基准

• 7.3.2、对LLM的能力进行全面分析

• 八、结论和未来方向

• References

结合文档内容，我再多说几句。

语言模型

大模型的本质是构建一个语言模型来对自然语言建模。

最常见的NLP任务是生成文本，例如，已知几个词，通过语言模型去预测下一个词，GPT系列就是通过自回归方式生成下一个词；或者给出前后几个词，预测中间的词，Bert就是这种类似完形填空的模型。无论是自回归还是完形填空，都被称为基于上下文的文本生成。

语言模型通过预测词典中每个词出现在这个位置的概率来生成文本。

构建语言建模经历了从统计语言模型到现在的神经网络模型。

统计语言模型：马尔科夫链

神经网络模型：RNN，LSTM（ELMO），Transformer（GPT，Bert，T5，LLAMA）。

大语言模型的涌现能力

在计算机视觉领域，通过增加卷积层个数能增加模型提取特征的能力，但随着层数的增加，模型性能增加会逐渐放缓。

但在NLP中，Tranformer打破了CV中的Scale定律，通过扩展模型的大小或者数据量，模型的性能会一直增加下去。且模型超过某个体量后就会出现涌现现象。

涌现现象通常表现在上下文理解能力，指令遵循，逐步推理。

大模型关键技术

预训练：并行训练，分布式训练。

能力引导：使用有监督数据对预训练模型进行微调，使其适应下游任务。

对齐微调：通过强化学习，使其向人类对齐。

扩展：但随着模型的扩展，计算资源消耗也会急剧增长。

论文有中英文版本，在下方加小助手获取：