这里简单的通过modelscope下载,以下用简单的shell来下载
1、首先要有一个python3 
2、直接下载到当前目录的方法,这里以qwen2.5 来做例子,其它的可自行修改
 

#为了不影响其它环境,用venv当前目前做个新的环境
pyhton3 -m venv venv
#激活环境
source ./venv/bin/activate
#安装所需要的库
pip install importlib_metadata modelscope
#下载
modelscope download --model=qwen/Qwen2.5-7B-Instruct-GGUF --include "qwen2.5-7b-instruct-q5_k_m*.gguf" --local_dir .
#[可选]合并为一个文件用 llama-gguf-split
#./llama-gguf-split --merge qwen2.5-7b-instruct-q5_k_m-00001-of-00002.gguf qwen2.5-7b-instruct-q5_k_m.gguf

参考: 魔搭社区

或是直接找到对应的你想要的文件用CURL下载:
 

curl -o qwen.guff "https://www.modelscope.cn/api/v1/models/qwen/Qwen1.5-7B-Chat-GGUF/repo?Revision=master&FilePath=qwen1_5-7b-chat-q2_k.gguf"