一：概述

        首先，很高兴，你可以看到这篇文章，本篇文章将基于书生大模型训练营第4期对HF/魔塔/魔乐社区进行介绍和本关的一些基本使用。

二：具体说明

        <1>HF/魔塔/魔乐社区的简单介绍

                Hugging Face（HF）社区是一个专注于自然语言处理（NLP）的开源社区，它提供了一个平台，让研究人员和开发者可以分享、发现和使用预训练的模型、数据集以及相关工具。

                魔搭社区（ModelScope）是阿里云推出的一个AI模型社区，它提供了模型即服务（Model as a Service）的平台，旨在帮助开发者和研究者零门槛体验和使用AI模型。

                魔乐社区（Modelers）是一个一体化开源平台，它集成了openMind Library和openMind Hub Client等工具套件，提供了模型库、数据集和体验空间等核心组件，覆盖了自然语言处理、视觉、音频等领域。

             <2>HF平台实践  

                                2.1 注册Hugging Face 平台 

                        注册Hugging Face平台需要魔法上网。

                        进入Hugging Face官网。
Hugging Face官网网址https://huggingface.co/                 进入官网之后，进行注册。

                                2.2 InternLM模型下载

                        HF它有一个最核心的项目，就是Transformers库，这个库功能非常强大，它可以直接使用预训练模型进行推理，提供大量的预训练模型供使用，使用预训练模型进行迁移学习。所以使用HF前，需要下载Transformer等一些常用的依赖库。

                        训练营文档里是以internlm2_5-1_8b举例，查看Hugging Face上模型的地址。在这里我换为其他模型：internlm2_5-20b-chat。

internlm2_5-20b-chat模型地址https://huggingface.co/internlm/internlm2_5-20b-chat        截图如下所示：

        

                                2.3 GitHub CodeSpace使用

                因为网络和磁盘有限，不建议在InternStudio上运行，因此在这里使用CodeSpace运行。
GitHub Codespacehttps://github.com/codespace        

        由于我的Code Space这个使用量已经达到了100%,所以里面的演示就不进行了，我将给出详细的过程。

        进入到codespaces里面创建的Jupyter NoteBook的环境之后，可以进入到Vscode的界面，这是一个在线编程环境。

        在下面的终端通过以下的命令安装终端。

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

                2.4 下载internlm2_5-7b-chat的配置文件

        考虑到个人GitHub CodeSpace硬盘空间有限（32GB可用），而7B的模型相对较大，这里我们先演示如何下载模型文件夹的特定文件。 考虑到CodeSpace平台上默认的用户权限不是root权限，这里为方便演示直接在工作区创建文件，即 /workspaces/codespaces-jupyter 目录

        以下载模型的配置文件为例，先新建一个hf_download_josn.py 文件

touch hf_download_josn.py

        在这个文件中，粘贴以下代码

import os
from huggingface_hub import hf_hub_download

# 指定模型标识符
repo_id = "internlm/internlm2_5-20b-chat"

# 指定要下载的文件列表
files_to_download = [
    {"filename": "config.json"},
    {"filename": "model.safetensors.index.json"}
]

# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)

# 遍历文件列表并下载每个文件
for file_info in files_to_download:
    file_path = hf_hub_download(
        repo_id=repo_id,
        filename=file_info["filename"],
        local_dir=local_dir
    )
    print(f"{file_info['filename']} file downloaded to: {file_path}")

        运行该文件（注意文件目录请在该文件所在目录下运行该文件）

python hf_download_josn.py

        运行成功之后就可以看到下载的文件了。大概的结构如下

----------------------------------------internlm2_5-20b-chat

-----------------------------------.cache

-----------------------------------config.json

----------------------------------model.safetensors.index.json

        虽然在这里我们没有完全下载internlm2_5-7b-chat模型，但是在实战营课程中，我们的InternStudio平台 的 目录下已经提供了InterLM2.5系列的模型，可以找到它们作为进行使用，如/root/sharemodel_name_or_path虽然在这里我们没有完全下载internlm2_5-7b-chat模型，但是在实战营课程中，我们的InternStudio平台 的 目录下已经提供了InterLM2.5系列的模型，可以找到它们作为进行使用，如/root/sharemodel_name_or_path

/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat

        下载internlm2_5-chat-1_8b并打印示例输出

touch hf_download_1_8_demo.py

                注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在文件中粘贴以下内容：hf_download_1_8_demo.py

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b", torch_dtype=torch.float16, trust_remote_code=True)
model = model.eval()

inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
gen_kwargs = {
    "max_length": 128,
    "top_p": 0.8,
    "temperature": 0.8,
    "do_sample": True,
    "repetition_penalty": 1.0
}

# 以下内容可选，如果解除注释等待一段时间后可以看到模型输出
# output = model.generate(**inputs, **gen_kwargs)
# output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
# print(output)

        等待几分钟后，会在控制台返回模型生成的结果（解除注释后）

        这里以“A beautiful flower”开头，模型对其进行“续写”，InternLM的模型拥有强大的数学方面的能力。这边它输出的文本似乎是关于一个数学问题，具体是关于一个花朵的花瓣数量。

        2.5 Hugging Face Spaces的使用

                Hugging Face Spaces 是一个允许我们轻松地托管、分享和发现基于机器学习模型的应用的平台。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。 首先访问以下链接，进入Spaces。在右上角点击Create new Space进行创建：

Hugging Space链接https://huggingface.co/spaces          在创建页面中，输入项目名为，并选择应用进行创建intern_cobuildStatic

        注意这里请替换你自己的username

cd /workspaces/codespaces-jupyter
# 请将<your_username>替换你自己的username
git clone git clone https://huggingface.co/spaces/<your_username>/intern_cobuild
cd /workspaces/codespaces-jupyter/intern_cobuild

        找到该目录文件夹下的index.html文件，修改我们的html代码

<!doctype html>
<html>
<head>
  <meta charset="utf-8" />
  <meta name="viewport" content="width=device-width" />
  <title>My static Space</title>
  <style>
    html, body {
      margin: 0;
      padding: 0;
      height: 100%;
    }
    body {
      display: flex;
      justify-content: center;
      align-items: center;
    }
    iframe {
      width: 430px;
      height: 932px;
      border: none;
    }
  </style>
</head>
<body>
  <iframe src="https://colearn.intern-ai.org.cn/cobuild" title="description"></iframe>
</body>
</html>

        保存后就可以push到远程仓库上了，它会自动更新页面。

git add.
git commit -m "update: colearn page"
git push

如果报错：remote: Password authentication in git is no longer supported. You must use a user access token or an SSH key instead.
请再次设置这个项目的验证
git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>
例如：
git remote set-url origin https:/jack:hf_xxxxx@huggingface.co/spaces/jack/intern_cobuild/
然后再次git push即可

                再次进入Space界面，就可以看到我们实战营的共建活动了

        2.6  模型上传     

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install
pip install huggingface_hub

        使用huggingface-cli login命令进行登录，登录过程中需要输入用户的Access Tokens，获取时，需要先验证email

        完成验证后，点击create new token，创建一个类型为“Write”的token，并请复制好token后要存储在合适的地方

        接着可以在CodeSpace里面，使用

git config --global credential.helper store
huggingface-cli login

        命令进行登录，这时需要输入刚刚的token

                创建项目

#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4

# 克隆到本地 your_github_name 注意替换成你自己的
git clone https://huggingface.co/{your_github_name}/intern_study_L0_4

        克隆好之后，刷新文件目录可以看到克隆好的文件夹。intern_study_L0_4我们可以把训练好的模型保存进里面，这里考虑到网速问题，只上传我们刚刚下载好的config.json，把它复制粘贴进这个文件夹里面，还可以写一个README.md文件，比如可以粘贴以下内容：

# 书生浦语大模型实战营camp4
- hugging face模型上传测试
- 更多内容请访问 https://github.com/InternLM/Tutorial/tree/camp4

        接下来可以用git提交到远程仓库

cd intern_study_L0_4
git add .
git commit -m "add:intern_study_L0_4"
git push

        注意，如果git push 报错，可能是第一次上传时需要验证，请使用以下命令，注意替换<>里面的内容，然后再次git push一下就可以了！

git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>

# 如 git remote set-url origin https://blank:hf_xxxxxxxxxxx@huggingface.co/blank/intern_study_L0_4

# 这里blank和hf_xxxxxxxxxxxx只是示例 请替换为你的username和之前申请的access token

git pull origin

        现在可以在Hugging Face的个人profile里面看到这个model，也可以直接将下面的Url输入到浏览器网址栏上        

https://huggingface.co/<user_name>/intern_study_L0_4

        <3> 魔搭社区平台

                      3.1  注册登录ModelScope平台

    进入导航栏模型库，可以搜索internlm找到相关模型（但是这也包括非官方模型），在这里我们可以搜索 internlm2_5-chat-1_8b，下载1.8b的对话模型，也类似于hugging face 一样拥有具体的详情页

魔塔社区官网https://www.modelscope.cn/

           3.2 创建开发机

        我们选择 10% 的开发机，镜像选择为 Cuda-12.2。在输入开发机名称后，点击创建开发机。

        

        接着我们打开开发机在当前终端上可以输入命令了，这里可以直接粘贴以下命令。最好一行一行粘贴等每个命令跑完之后再粘贴下一行

        以下过程我都通过SSH远程连接来完成下面的操作。

        3.3 基础环境配置

# 激活环境
conda activate /root/share/pre_envs/pytorch2.1.2cu12.1

# 安装 modelscope
pip install modelscope -t /root/env/maas
pip install numpy==1.26.0  -t /root/env/maas
pip install packaging -t /root/env/maas

        注意：为了保证能够找到我们每次装的依赖，每次新建一个终端之后都需要导出path 如果不改变终端，导出一次就够了

export PATH=$PATH:/root/env/maas/bin
export PYTHONPATH=/root/env/maas:$PYTHONPATH

        接着创建我们的demo目录

mkdir -p /root/ms_demo

        3.4  下载指定多个文件

           internlm2_5-7b-chat 考虑到7B的模型文件比较大，这里我们先采用modelscope的cli工具（当然hugging face也有）来下载指定文件，在命令行输入以下命令

modelscope download \
    --model 'Shanghai_AI_Laboratory/internlm2_5-7b-chat' \
    tokenizer.json config.json model.safetensors.index.json \
    --local_dir '/root/ms_demo'

        刷新一下文件目录，就能看到在ms_demo中下载了指定的json文件。

• internlm2_5-1_8b-chat

modelscope download \
    --model 'Shanghai_AI_Laboratory/internlm2_5-1_8b-chat' \
    tokenizer.json config.json model.safetensors.index.json \
    --local_dir '/root/ms_demo'

  

        3.5 上传模型

        魔搭社区类似HF，也有一套创建模型的界面。不同的是，它具有审核机制，当符合它的社区规范时才会被公开。那么当上传正常的模型文件后，审核一般就会通过了。上传文件的方法可以直接通过平台添加文件，也可以通过git下载模型后进行修改和上传文件

#Git模型下载
git clone https://www.modelscope.cn/<your_username>/<your_model>

        <4>魔乐社区平台

                4.1 下载internlm2_5-chat-1_8b模型

                        在这里仍然使用刚才创建的开发机。

cd /
mkdir ml_demo
cd ml_demo

                然后我们可以下载该模型，这里

# 确保安装git-lfs 保证大文件的正常下载
apt-get install git-lfs
git lfs install
# clone 仓库
git clone https://modelers.cn/Intern/internlm2_5-1_8b-chat.git

        刷新一下文件夹，即可在ml_demo中找到下载好的模型文件，在魔乐社区中，还推荐了一个新的深度学习开发套件openMind Library，除了常用的Transforms的API，也可以探索如何使用openMind来加载模型。

# 确保按指南安装好openmind后
from openmind import AutoModel
model = AutoModel.from_pretrained("Intern/internlm2_5-1_8b-chat", trust_remote_code=True")

        到这里为止，这个基本的说明操作就完成了。