一、Hugging Face 是什么?

Hugging Face 是 AI 领域的开源社区和平台,集模型库、数据集、协作工具和社区于一体,可以看作是“AI 界的 GitHub”。它通过提供标准化的工具链(如 TransformersDiffusers Python 库),极大地简化了模型的下载、加载、训练和部署流程,降低了 AI 技术的使用门槛。
在这里插入图片描述

二、核心模块概览

Hugging Face 平台主要包含三大核心板块:

  1. Models(模型中心):这是 Hugging Face 的核心模块,提供了超过 150 万个模型,涵盖自然语言处理、计算机视觉、音频处理、多模态等任务。你可以按任务类型、技术框架、语言等维度筛选查找模型,大部分模型支持在线测试和查看源代码。
  2. Datasets(数据集中心):汇集了大量用于各种 AI 任务的高质量数据集,是模型训练和微调的“数据粮仓”。你可以轻松找到文本翻译、对话、数学推理、代码生成等各类数据集。
  3. SpacesAI 应用空间):这里汇集了大量基于 Hugging Face 模型的交互式 AI 应用 Demo,用户无需配置环境即可在线体验各种 AI 应用,也是寻找灵感和学习二次开发的好地方。

三、环境安装

1、安装huggingfacetransformers

pip install -U tranformers huggingface_hub

2、配置国内镜像站(能科学上网,请省略)

(1)windows系统

  • Win + R 输入 sysdm.cpl → 打开「系统属性」→「高级」→「环境变量」

  • 新建系统变量:

    • 变量名:HF_ENDPOINT
    • 变量值:https://hf-mirror.com
  • 保存后重启终端或 IDE(如VSCode/PyCharm

  • cmd中验证是否生效:

echo %HF_ENDPOINT%  # 应输出 https://hf-mirror.com

(2)Ubuntu系统

设置系统变量:

echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.bashrc
echo 'export HF_HUB_ENABLE_HF_TRANSFER=1' >> ~/.bashrc
source ~/.bashrc

设置完成后仍不能访问,请点击此处查看详细教程。

四、示例程序

使用huggingface默认模型,进行情感分类。示例程序:

from transformers import pipeline

# 仅指定任务时,使用默认模型(不推荐)
pipe = pipeline(task = "sentiment-analysis") # 
print(pipe("今儿上海可真冷啊"))

注意:未指定模型,huggingface默认使用distilbert-base-uncased-finetuned-sst-2-english模型。第一运行该程序时,程序会将模型下载到本地,速度相对比较慢。下载完成后,模型会调用本地的资源进行计算。

输出:

No model was supplied, defaulted to distilbert/distilbert-base-uncased-finetuned-sst-2-english and revision 714eb0f (https://hf-mirror.com/distilbert/distilbert-base-uncased-finetuned-sst-2-english).
Using a pipeline without specifying a model name and revision in production is not recommended.
Device set to use cuda:0

[{'label': 'NEGATIVE', 'score': 0.8957214951515198}]
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐