llama.cpp编译
·
llam.cpp编译
1. 下载&编译
git clone https://github.com/ggml-org/llama.cpp
cmake -S . -B build
2. 下载模型验证
# 下载地址
https://huggingface.co/filipealmeida/open-llama-7b-v2-open-instruct-GGUF/blob/main/ggml-model-Q4_0.gguf
# 验证
./llama-cli.exe -m .\models\7B\ggml-model-Q4_0.gguf -p "Tell me a joke." --n_predict 100
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
2
0- 0
已为社区贡献3条内容
所有评论(0)