1-7 大模型基础-大模型背后的范式
·
范式：
- 在预训练阶段，预训练的语言模型从大规模的未标记数据中获取丰富的知识；
- 然后我们可以使用特定任务的训练数据对预训练的语言模型进行微调，以适应预训练的知识；
- 最后得到一个用于解决具体任务的模型了。
迁移学习（Transfer learning ）：
把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。
大模型就是在做迁移学习的这样一种事情：先在大规模无标注数据集中进行无监督学习训练，然后引入具体的样本（标注数据）进行参数微调，得到一个能在具体任务上表现极佳的模型。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献3条内容
所有评论(0)