Hugging Face 入门教程:从零开始掌握大模型开发
Hugging Face 是 AI 领域的开源社区和平台,集模型库、数据集、协作工具和社区于一体,可以看作是“AI 界的 GitHub”。它通过提供标准化的工具链(如。第一运行该程序时,程序会将模型下载到本地,速度相对比较慢。下载完成后,模型会调用本地的资源进行计算。库),极大地简化了模型的下载、加载、训练和部署流程,降低了 AI 技术的使用门槛。→ 打开「系统属性」→「高级」→「环境变量」默认模
一、Hugging Face 是什么?
Hugging Face 是 AI 领域的开源社区和平台,集模型库、数据集、协作工具和社区于一体,可以看作是“AI 界的 GitHub”。它通过提供标准化的工具链(如 Transformers、Diffusers 等 Python 库),极大地简化了模型的下载、加载、训练和部署流程,降低了 AI 技术的使用门槛。
二、核心模块概览
Hugging Face 平台主要包含三大核心板块:
Models(模型中心):这是 Hugging Face 的核心模块,提供了超过 150 万个模型,涵盖自然语言处理、计算机视觉、音频处理、多模态等任务。你可以按任务类型、技术框架、语言等维度筛选查找模型,大部分模型支持在线测试和查看源代码。Datasets(数据集中心):汇集了大量用于各种 AI 任务的高质量数据集,是模型训练和微调的“数据粮仓”。你可以轻松找到文本翻译、对话、数学推理、代码生成等各类数据集。Spaces(AI应用空间):这里汇集了大量基于Hugging Face模型的交互式AI应用Demo,用户无需配置环境即可在线体验各种AI应用,也是寻找灵感和学习二次开发的好地方。
三、环境安装
1、安装huggingface和transformers库
pip install -U tranformers huggingface_hub
2、配置国内镜像站(能科学上网,请省略)
(1)windows系统
-
按
Win + R输入sysdm.cpl→ 打开「系统属性」→「高级」→「环境变量」 -
新建系统变量:
- 变量名:
HF_ENDPOINT - 变量值:
https://hf-mirror.com
- 变量名:
-
保存后重启终端或 IDE(如
VSCode/PyCharm) -
在
cmd中验证是否生效:
echo %HF_ENDPOINT% # 应输出 https://hf-mirror.com
(2)Ubuntu系统
设置系统变量:
echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.bashrc
echo 'export HF_HUB_ENABLE_HF_TRANSFER=1' >> ~/.bashrc
source ~/.bashrc
设置完成后仍不能访问,请点击此处查看详细教程。
四、示例程序
使用huggingface默认模型,进行情感分类。示例程序:
from transformers import pipeline
# 仅指定任务时,使用默认模型(不推荐)
pipe = pipeline(task = "sentiment-analysis") #
print(pipe("今儿上海可真冷啊"))
注意:未指定模型,huggingface默认使用distilbert-base-uncased-finetuned-sst-2-english模型。第一运行该程序时,程序会将模型下载到本地,速度相对比较慢。下载完成后,模型会调用本地的资源进行计算。
输出:
No model was supplied, defaulted to distilbert/distilbert-base-uncased-finetuned-sst-2-english and revision 714eb0f (https://hf-mirror.com/distilbert/distilbert-base-uncased-finetuned-sst-2-english).
Using a pipeline without specifying a model name and revision in production is not recommended.
Device set to use cuda:0
[{'label': 'NEGATIVE', 'score': 0.8957214951515198}]
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)