启动百川大模型错误解决：ModuleNotFoundError: No module named ‘bitsandbytes‘
启动百川大模型错误解决：ModuleNotFoundError: No module named 'bitsandbytes'
·
1.错误信息
Traceback (most recent call last):
File "/root/.cache/huggingface/modules/transformers_modules/Baichuan2-13B-Chat-lora23/modeling_baichuan.py", line 735, in quantize
from .quantizer import quantize_online
File "/root/.cache/huggingface/modules/transformers_modules/Baichuan2-13B-Chat-lora23/quantizer.py", line 1, in <module>
import bitsandbytes as bnb
ModuleNotFoundError: No module named 'bitsandbytes
2.错误原因排查
pip install torch 默认安装的版本太高导致，如图：
3.错误解决
降低版本：pip install torch==2.0.1
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献5条内容
所有评论(0)