XTuner 微调 LLM笔记
·
Finetune介绍
主要有两种微调范式，目的是使基座大模型成为垂直模型
什么是指令微调————就是有对话
数据要可以被系统利用
不同模型有不同的输入/输出模板
喂给模型的是拼装好的
基座不变，在基座上微调lora，新建小linear，也就是adapter。主要目的是减少开销。
XTuner介绍
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)