在机器学习尤其是强化学习领域，自我博弈（Self-play）是一种非常重要的学习策略。即使 AI 或者智能体没有明确的对手或者没有外部环境提供额外信息，也能通过自己与自己的博弈来学习并获得提升，这常见于游戏场景。AlphaGo 就是采用自我博弈策略的典型代表，通过自己与自己对战，持续掌握和积累围棋知识和比赛经验，最终击败顶级人类棋手。

随着大语言模型的发展，自我博弈因其能够充分利用计算资源和合成数据成为提升模型性能的方法之一。 

最近发布的 OpenAI 发布的 o1 模型再次震撼了科技圈，o1 能像人类一样「思考」复杂问题，拥有真正的通用推理能力。不专门训练，o1 可以直接拿下数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。

这些突破性的进展是如何达成的呢？在研发团队发布的庆功视频里，OpenAI 的研究人员透露，关键在于他们采用了强化学习技术进行模型训练。这也让大家重新开始关注自我博弈策略。

其实 2024 年以来，加州大学洛杉矶分校（UCLA）计算机系教授顾全全团队连续发表两篇基于自我博弈的大语言模型增强论文，分别是自我博弈微调（Self-Play Fine-Tuning, SPIN）和自我博弈偏好优化（Self-Play Preference Optimization, SPPO）。

其中 SPIN 通过让模型与自身的历史版本对抗来迭代改进，无需额外的人工标注数据即可通过自我博弈提升性能，从而充分利用高质量数据和合成数据。SPPO 则将对齐问题建模为了双人零和博弈，通过指数权重更新算法和合成数据来逼近纳什均衡。这两种方法均显著提高了模型在多个基准测试上的性能。

为了更好地帮助大家了解这两项研究，机器之心最新一期线上分享邀请到了顾全全教授以及 SPIN 第一作者陈子翔、SPPO 第一作者吴越，为大家详细解读如何通过自我博弈来为大语言模型提能增效。

 访问福利

https://mp.weixin.qq.com/s/MIaGG3K8Ok_hovizPkOUNA