huggingface下载模型和数据集
博主最近需要在huggingface上下载模型和数据集,但是该网站需要科学上网,而需要下载的模型和数据集往往都是几百GB甚至几TB,这会带来不小的经济压力。因此,为了在不科学上网的情况下去下载模型和数据集,博主找到了HF-Mirror这个镜像网站,在该网站中输入需要下载的模型和数据集即可快速下载。1:直接在Files and versions中对文件夹中的文件进行逐一下载,这种方式麻烦,而且下载速
博主最近需要在huggingface上下载模型和数据集,但是该网站需要科学上网,而需要下载的模型和数据集往往都是几百GB甚至几TB,这会带来不小的经济压力。
因此,为了在不科学上网的情况下去下载模型和数据集,博主找到了HF-Mirror这个镜像网站,在该网站中输入需要下载的模型和数据集即可快速下载。
HF-Mirror也提供了几种下载方式,博主在此逐一做了尝试:
1:直接在Files and versions中对文件夹中的文件进行逐一下载,这种方式麻烦,而且下载速度并不快,在此不推荐。
2:选择Clone repository中的git命令进行下载,需要注意的是在使用git命令前需要安装GIT LFS,不然无法正确下载大型数据,安装方式如下:
sudo apt-get install git-lfs
git lfs install # 初始化
然后就可以使用git命令进行下载:
git clone https://hf-mirror.com/lmsys/vicuna-7b-v1.5
但是该方法在下载过程中并不稳定,经常断连且下载速度不快,因此也不推荐。
3:使用HF-Mirror 开发的hfd工具进行下载,该工具的安装方式如下:
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
在使用hfd前还需要安装aria2c:
snap install aria2c
然后就可以使用hfd进行下载了:
export HF_ENDPOINT=https://hf-mirror.com
./hfd.sh lmsys/vicuna-7b-v1.5
使用该方法下载过程很稳定,并且下载速度很快,非常推荐!
感谢您的阅读,祝您能顺利下载需要的模型和数据集!!!
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)