【大模型】微调qwen2
·
之前qwen1.5给出了微调代码，但是后面的qwen系列似乎没有给出微调代码。试了一下，qwen1.5的微调代码也可以微调qwen2的模型。
但是第三方库的配置上需要特别注意，以下给出可运行的配置，亲测有效：
transformer==4.37.0
accelerate==0.34.2
deepspeed==0.14.4
peft==0.12.0
torch==2.0.1如果报错 input should be a valid integer, got a number with a fractional part[type=int_from_float, xxxxxxx] 这种就是需要将deepspeed版本回退到0.14.4
微调方法为：进入qwen1.5/example/sft下，用命令行运行以下命令
# 不想用多卡训练的时候，先 export CUDA_VISIBLE_DEVICES=1
bash finetune.sh -m MODEL_PATH -d TRAINSET_PATH --deepspeed "ds_config_zero3.json" --use_lora True
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
3
0- 0
已为社区贡献3条内容
所有评论(0)