本地部署llama-factory
本地部署llama-factory
·
官网教程:https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md
1.打开git bush命令行,输入:git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git"
2.打开命令行,创建虚拟环境python -m venv llamavenv
3.激活虚拟环境,进入到scripts文件,输入activate,按下回车;
4.进入文件夹cd LLaMA-Factory,安装依赖:pip install -e ".[torch,metrics]"
5.安装 BitsAndBytes,在命令行输入pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
不出意外就部署完成了
启动llama-factory:llamafactory-cli webui
打开http://localhost:7860/就可以开始下一步研究了。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)