Ollama本地部署大模型
本文介绍了在Windows10系统下使用Ollama(v0.12.10)管理AI大模型的方法。主要内容包括:1)建议将默认安装路径从C盘改为其他盘以避免空间不足;2)通过命令行pull命令下载开源模型,并说明如何从Huggingface镜像站获取未列出的模型;3)详细讲解了如何通过创建Modelfile文件将下载的模型接入Ollama系统;4)提供了解决中文对话问题的修改方法,即在Modelfil
windows10环境,2080Ti,显存22GB
Ollama最新版本是v0.12.10,2025年11月发布的
会默认安装到C盘,后续把模型下载目录要改成其他盘,不然C盘大概率不够用。
Ollama官网有许多开源的大模型,如果需要解除限制版本的,注意文件名带有标签如uncensored,abliterated等。
win+R,cmd,使用ollama 的pull命令拉取开源模型,jashas是用户名,后面是文件名
ollama pull jaahas/qwen3-abliterated
或者用自己指定大小的那个,14b
ollama pull jaahas/qwen3-abliterated:14b
直接复制按钮,最简洁。
很多模型在ollama网站没有,找找Huggingface国内镜像站https://hf-mirror.com/
目前不支持用户登录
例如我需要这个模型,Nemotron-3-Nano-30B-A3B-GGUF


ollama pull hf.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF
前面的hf.co就是表示的huggingface网站,默认给我下载的是Q5_K_S这个大小的量化版,体积大约24GB,如果要指定,就增加个后缀
ollama pull hf.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF:Q4_1
早上下载速度大概4~5MB/s,其他时间可能小于1MB/s
打开文件目录E:\AI_Program\ollama\models\blobs,可以找到这个大文件,可以看到没有后缀,形如sha256-开头的一串哈希值

此时,ollama list,是看不到这个模型的,接着是将这个大模型接入ollama
首先,新建个Modelfiel.txt文件,内容如下,这里用的是绝对路径,使用相对路径也可以,这里的FROM语句是唯一必须的,其他语句可写或不写都行,保存后,删去文件的后缀.txt
绝对路径
FROM E:\AI_Program\ollama\models\blobs\sha256-0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940
相对路径
FROM ./sha256-0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940
然后在这个名称为Modelfile 的文件路径下打开cmd
E:\AI_Program\ollama\models\blobs>ollama create my-Nemotron-3-Nano-30B-A3B-GGUF -f Modelfile
前面create跟的是我自定义的模型名称,-f 后面跟的是这个模型路径的文件名称,也就是Modelfile
如果这个Modelfile文件语法写的不对(如果用的Ollama最新版,你的语法可能是过时的语法),可能会报错误
Error: (line 3): command must be one of "from", "license", "template", "system", "adapter", "renderer", "parser", "parameter", or "message"
如果成功,会显示如下
E:\AI_Program\ollama\models\blobs>ollama create my-Nemotron-3-Nano-30B-A3B-GGUF -f Modelfile
gathering model components
copying file sha256:0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940 100%
parsing GGUF
using existing layer sha256:0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940
writing manifest
success
E:\AI_Program\ollama\models\blobs>ollama list
NAME ID SIZE MODIFIED
my-Nemotron-3-Nano-30B-A3B-GGUF:latest a9fd9555cd88 24 GB About a minute ago
在Ollama图形界面选择这个Nemotron-3模型对话,发现中文无法对话
修改Modelfile文件内容
FROM ./sha256-0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940
SYSTEM "你是一个中文助手,对话使用简体中文,必要时才使用英文"
重新进行ollama create过程,大概1分钟不到,
12球问题
有12个小球,其中有一个小球的重量与其他不同。使用天平称三次,找出该重量不同的小球。中文回答问题。
第一轮: A(4) ⇔ B(4)
│
├─ 平衡 → 异常在 C(4) → 第二轮: C1(2) ⇔ C2(2)
│ └─ 若平衡 → 第三轮对比剩余两颗即可定位
│ └─ 若不平衡 → 已锁定在该组的某几只,第三轮直接称量确认轻重
├─ 左侧更重 → 可能:A中有“重”或 B中有“轻”
第二轮: 把 A1+A2+B1 vs A3+B2+C1 (示例配置)
└─ 平衡 → 异常在剩余的四颗中
└─ 左侧更重/右侧更重 → 再对比至单球
└─ 右侧更轻 → 对称处理(交换左右即可)
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)