大语言模型（3）--GPT-2
GPT-2（《Language Models are Unsupervised Multitask Learners》）是继GPT-1之后的第二个开源版本（考虑到技术滥用的担心只发布了mini版本），它的训练语料与参数比GPT-1多了一个数量级。正如题目，它是一个无监督、无领域知识调优的模型，然而在阅读理解、摘要生成、翻译、问答等方面可以超过多个领域下调优的已知模型。
·
GPT-2（《Language Models are Unsupervised Multitask Learners》）是继GPT-1之后的第二个开源版本（考虑到技术滥用的担心只发布了mini版本），它的训练语料与参数比GPT-1多了一个数量级。正如题目，它是一个无监督、无领域知识调优的模型，然而在阅读理解、摘要生成、翻译、问答等方面可以超过多个领域下调优的已知模型。
模型
GPT-2是一个基于transformer的语言模型，在800万个网页上训练得到，它包含15亿参数。训练语料与参数数量都比GPT-1多了一个数量级。它仍使用GPT-1的模型，在此基础上做了少量调优：
- layer norm前置到每个block的输入
- 残差层参数使用层次N进行归一化（1/sqrt(N)
- 词表扩大到5w+
- 上下文词的数量从512->1024
- batch size扩大到512
效果
GPT-2显示了很强的zero-shot能力，它的效果超过了多个基于领域语料（例如wikipedia/news/books等）训练的模型。如下图所示：
下面给出了一些问答的例子：
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
4
0- 0
已为社区贡献3条内容
所有评论(0)