【已解决】Qwen 使用peft 的AutoPeftModelForCausalLM.from_pretrained 模型微调合并,codeDecodeError: ‘gbk‘
将Qwen-chat微调和原模型合并,使用peft的AutoPeftModelForCausalLM.from_pretrained方法报错:codeDecodeError: 'gbk' codec can't decode byte 0xac in position 106: illegal multibyte sequence。实话说就是打开文件编码的问题嘛,然后我发现这个peft.confi
·
将Qwen-chat微调和原模型合并,使用peft的AutoPeftModelForCausalLM.from_pretrained方法报错:codeDecodeError: 'gbk' codec can't decode byte 0xac in position 106: illegal multibyte sequence
实话说就是打开文件编码的问题嘛,然后我发现这个peft.config.py函数中加入encoding=”uft-8"就可以了,但是记得跑完代码后改回来。

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)