原文:

不会修改HuggingFace模型下载默认缓存路径?一篇教会你!_使用huggingface下载bert保存在哪里怎么看-CSDN博客

How to change huggingface transformers default cache directory - Stack Overflow

linux系统解决huggingface下载缓存不够的问题_清理huggingface缓存-CSDN博客

本人两种方法均尝试。有效。推荐第二种。

方式一:cache_dir 参数

可以通过from_pretrained函数中的 cache_dir 参数来指定。

缺点,每次都需要手动指定,比较麻烦。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

方式二:设置环境变量

vim ~/.bashrc

在末尾行添加:

export HF_HOME="/path/to/you/dir"  # 替换为你想更改的目标路径

然后保存退出。
输入如下指令让它立即生效:

source ~/.bashrc

可通过如下指令查看是否设置成功,

env | grep HF_HOME

如果返回设置的路径,则成功。如图:Alt

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐