SafeTensors 是一种专门为深度学习模型设计的安全、高效的格式,它不依赖于 pickle,相比保存为.pth , .bin而是采用二进制格式进行存储。它在设计上避免了代码注入风险,同时具有更好的跨平台兼容性和一致性。

但我训练的模型保存为xx.safetensors,在huggingface的AutoModelForCausalLM.from_pretrained()加载模型时,会报错

OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax

有两种解决办法:
1、找到缺失的.safetensors.index.json文件
2、如果没有则将模型参数名称改为model.safetensors或者pytorch_model.bin放到文件夹下加载即可

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐