大模型在cpu上使用llama_cpp部署无法加载模型的问题
错误：gguf_init_from_file: invalid magic characters 'tjgg'等，也就是无法加载模型。因为最新版的llama-cpp-python不支持ggml文件格式了。3、利用llama.cpp内部转换函数进行转换。2、直接下载对应GGUF的模型。
·
from llama_cpp import Llama model = Llama(model_path="llama-2-7b-chat.ggmlv3.q4_0.bin")
错误：gguf_init_from_file: invalid magic characters 'tjgg'等，也就是无法加载模型
因为最新版的llama-cpp-python不支持ggml文件格式了
解决方案：
1、降低版本（最简单）：
pip install llama-cpp-python==0.1.78
2、直接下载对应GGUF的模型
3、利用llama.cpp内部转换函数进行转换
参考出处：TheBloke/Llama-2-13B-GGML · Could not load Llama model from path (huggingface.co)
运行结果：
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
10
0- 0
已为社区贡献3条内容
所有评论(0)