拉取华为昇腾的mindie镜像时一定要注意配置好--platform参数,否则可能架构不兼容

docker pull --platform=arm64 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

拉取完镜像,进行镜像打压缩包
docker save 3a7f38bed48b -o D:\mindiearm.tar

安装huggingface_hub
pip install -U huggingface_hub
安装成功后,注意将huggingface-cli添加到环境变量

没有设置镜像地址的话,使用huggingface-cli下载大模型的话,大概率是失败的。需要设置个
环境变量HF_ENDPOINT,内容设置为https://hf-mirror.com。

比如下载模型参数时,接续下载:

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --local-dir D:\deepseek-r1-32b-huggingface
 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐