HuggingFace模型或数据集上传教程—超详细图文
本文介绍了如何将模型或数据集上传到Hugging Face平台的完整流程。首先需要注册账号并安装huggingface_hub库,通过CLI登录并获取访问令牌。然后创建模型或数据集仓库,克隆到本地后添加数据文件。关键步骤包括安装Git LFS管理大文件,通过git命令添加、提交并推送文件到远程仓库。整个流程涵盖了从账号准备到最终上传的所有操作,帮助用户高效地共享和复用AI资源。
HuggingFace模型或数据集上传教程
Hugging Face 是一个用于构建、共享和部署自然语言处理 (NLP)、计算机视觉 (CV) 等模型与数据集的社区平台。本文将介绍如何将你的模型或数据集上传到 Hugging Face 的 Hub 上,便于分享和复用。
准备工作
- 注册账号:前往 Hugging Face 官网 https://huggingface.co/join 注册一个 Hugging Face 账号。
- 安装库及相关设置:
安装 huggingface_hub
pip install huggingface_hub
输入huggingface-cli login 登录huggingface
huggingface-cli login
然后输入在 Hugging Face 的访问令牌(可在https://huggingface.co/settings/tokens Hugging Face token 获取)。
点击创建
选择write、输入名字(自己写随便都行)、点击创建、复制那个token即可
注意这个 token 下次无法查看了,所以可以记录一下,忘了可以创建新的
然后将这个token输入进去,就可以登录huggingface了
创建模型或者数据集仓库
点击创建模型或者数据集
输入相关信息,模型和数据集的输入类似,最后点击创建就创建了一个新的库
这一步结束后,会拥有一个新的模型库或者数据集库,类似这样:
模型:https://huggingface.co/GoTime8345/test-model
数据集:https://huggingface.co/datasets/GoTime8345/test-datasets
克隆仓库到本地
回到本地的bash,输入命令git lfs install,确保安装了 Git LFS
注意:安装 Git LFS 是关键的,如果是文件比较大的情况的话,安装这个才可以使用( LFS 用于更高效地管理 大文件)
git lfs install
然后移动到合适的目录,使用git clone先clone这个库到本地目录,如gotime/huggingface
cd gotime/huggingface
git clone https://huggingface.co/datasets/GoTime8345/test-datasets
添加数据并推送
将你的数据集文件(如 CSV/JSON/Parquet 等)放入此目录gotime/huggingface/test-datasets
使用命令行
cd test-datasets
开始上传数据:
git add .
逐个执行
git commit -m "Add initial dataset"
逐个执行
git push

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)