解决HuggingFace数据集下载慢的方案

终端：Windows WSL（Ubuntu 22.04）
方案：VPN+hfd.sh+aria2c

实测14.5GB数据集下载耗时：

• VPN直连：149kb/s
• VPN+hfd.sh+aria2c：28MB/s，约7分钟30秒
  建议根据实际网络环境选择工具组合。

使用VPN加速下载

自行解决

调用hfd.sh脚本工具

使用参考：使用hfd工具快速下载huggingface模型权重-应该是目前最快的
hfd.sh脚本支持多线程下载和自动重试。安装后通过环境变量配置镜像源：

wget https://hf-mirror.com/hfd/hfd.sh

chmod a+x hfd.sh

export HF_ENDPOINT=https://hf-mirror.com

./hfd.sh 模型名称 --tool aria2c -x 16

aria2c断点续传方案

aria2安装参考：Ubuntu 安装Aria2 、配置开机启动
安装aria2后使用以下命令实现分块下载：

./hfd.sh 数据集名称 --hf_username xxxx --hf_token xxxx --dataset --tool aria2c -x 10