HuggingFace - linux环境 修改下载默认缓存路径
·
原文:
不会修改HuggingFace模型下载默认缓存路径?一篇教会你!_使用huggingface下载bert保存在哪里怎么看-CSDN博客
How to change huggingface transformers default cache directory - Stack Overflow
linux系统解决huggingface下载缓存不够的问题_清理huggingface缓存-CSDN博客
本人两种方法均尝试。有效。推荐第二种。
方式一:cache_dir 参数
可以通过from_pretrained函数中的 cache_dir 参数来指定。
缺点,每次都需要手动指定,比较麻烦。
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
方式二:设置环境变量
vim ~/.bashrc
在末尾行添加:
export HF_HOME="/path/to/you/dir" # 替换为你想更改的目标路径
然后保存退出。
输入如下指令让它立即生效:
source ~/.bashrc
可通过如下指令查看是否设置成功,
env | grep HF_HOME
如果返回设置的路径,则成功。如图:
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)