HuggingFace模型或数据集上传教程

Hugging Face 是一个用于构建、共享和部署自然语言处理 (NLP)、计算机视觉 (CV) 等模型与数据集的社区平台。本文将介绍如何将你的模型或数据集上传到 Hugging Face 的 Hub 上,便于分享和复用。

准备工作

  1. 注册账号:前往 Hugging Face 官网 https://huggingface.co/join 注册一个 Hugging Face 账号。
    在这里插入图片描述
  2. 安装库及相关设置:
    安装 huggingface_hub
pip install huggingface_hub

在这里插入图片描述
输入huggingface-cli login 登录huggingface

huggingface-cli login

然后输入在 Hugging Face 的访问令牌(可在https://huggingface.co/settings/tokens Hugging Face token 获取)。
在这里插入图片描述
点击创建
在这里插入图片描述
选择write、输入名字(自己写随便都行)、点击创建、复制那个token即可
在这里插入图片描述
注意这个 token 下次无法查看了,所以可以记录一下,忘了可以创建新的
然后将这个token输入进去,就可以登录huggingface了

创建模型或者数据集仓库

点击创建模型或者数据集
在这里插入图片描述
输入相关信息,模型和数据集的输入类似,最后点击创建就创建了一个新的库
在这里插入图片描述
这一步结束后,会拥有一个新的模型库或者数据集库,类似这样:
模型:https://huggingface.co/GoTime8345/test-model
数据集:https://huggingface.co/datasets/GoTime8345/test-datasets

克隆仓库到本地

回到本地的bash,输入命令git lfs install,确保安装了 Git LFS

注意:安装 Git LFS 是关键的,如果是文件比较大的情况的话,安装这个才可以使用( LFS 用于更高效地管理 大文件)
git lfs install

然后移动到合适的目录,使用git clone先clone这个库到本地目录,如gotime/huggingface

cd gotime/huggingface
git clone https://huggingface.co/datasets/GoTime8345/test-datasets

添加数据并推送

将你的数据集文件(如 CSV/JSON/Parquet 等)放入此目录gotime/huggingface/test-datasets
使用命令行

cd test-datasets

开始上传数据:

git add .

逐个执行

git commit -m "Add initial dataset"

逐个执行

git push
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐