作业2： Llama 3 Web Demo 部署

1 访问 IntenLM
在vscode中建立远程连接

输入streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py
~/model/Meta-Llama-3-8B-Instruct
打开本地浏览器，进行测试

作业3:- 使用 XTuner 完成小助手认知微调
xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

转换格式
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py /root/llama3_pth/iter_500.pth /root/llama3_hf_adapter
执行
streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py
/root/llama3_hf_merged
作业3：使用LMDeploy 部署
新建环境：

conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

备注：如果你用的是autodl，并且碰到了不能新建环境的情况，类似这种：

Collecting package metadata (current_repodata.json): failed

UnavailableInvalidChannel: HTTP 403 FORBIDDEN for channel anaconda/cloud/msys2 <https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2>

The channel is not accessible or is invalid.

You will need to adjust your conda configuration to proceed.

你可以使用
conda config --remove-key channels
恢复默认源就可以新建环境了
另外，如果无法conda activate env,请使用source activate env。见参考文献【2】

pip install -U lmdeploy[all]

另外，我在执行软链接的时候出现了一个错误：
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct
ln: failed to create symbolic link ‘/root/model/Meta-Llama-3-8B-Instruct/Meta-Llama-3-8B-Instruct’: Read-only file system
我没有找到解决这个问题的办法，
但是在 执行chat命令，没有影响

conda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct

因为代码会强制用llama3,


也正常回答了，但是回复的都是英文，可以让它中文回复

参考文献：
https://blog.csdn.net/weixin_45884316/article/details/113530349
https://blog.csdn.net/sdnuwjw/article/details/112448792