windows10环境,2080Ti,显存22GB

Ollama最新版本是v0.12.10,2025年11月发布的

https://ollama.com/

会默认安装到C盘,后续把模型下载目录要改成其他盘,不然C盘大概率不够用。

Ollama官网有许多开源的大模型,如果需要解除限制版本的,注意文件名带有标签如uncensoredabliterated等。

win+R,cmd,使用ollama 的pull命令拉取开源模型,jashas是用户名,后面是文件名

ollama pull jaahas/qwen3-abliterated

或者用自己指定大小的那个,14b

ollama pull jaahas/qwen3-abliterated:14b

直接复制按钮,最简洁。

很多模型在ollama网站没有,找找Huggingface国内镜像站https://hf-mirror.com/

目前不支持用户登录

例如我需要这个模型,Nemotron-3-Nano-30B-A3B-GGUF

ollama pull hf.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF

前面的hf.co就是表示的huggingface网站,默认给我下载的是Q5_K_S这个大小的量化版,体积大约24GB,如果要指定,就增加个后缀

ollama pull hf.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF:Q4_1

早上下载速度大概4~5MB/s,其他时间可能小于1MB/s

打开文件目录E:\AI_Program\ollama\models\blobs,可以找到这个大文件,可以看到没有后缀,形如sha256-开头的一串哈希值

此时,ollama list,是看不到这个模型的,接着是将这个大模型接入ollama

首先,新建个Modelfiel.txt文件,内容如下,这里用的是绝对路径,使用相对路径也可以,这里的FROM语句是唯一必须的,其他语句可写或不写都行,保存后,删去文件的后缀.txt

绝对路径

FROM E:\AI_Program\ollama\models\blobs\sha256-0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940

相对路径

FROM ./sha256-0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940

然后在这个名称为Modelfile 的文件路径下打开cmd

E:\AI_Program\ollama\models\blobs>ollama create my-Nemotron-3-Nano-30B-A3B-GGUF -f Modelfile

前面create跟的是我自定义的模型名称,-f 后面跟的是这个模型路径的文件名称,也就是Modelfile

如果这个Modelfile文件语法写的不对(如果用的Ollama最新版,你的语法可能是过时的语法),可能会报错误

Error: (line 3): command must be one of "from", "license", "template", "system", "adapter", "renderer", "parser", "parameter", or "message"

如果成功,会显示如下

E:\AI_Program\ollama\models\blobs>ollama create my-Nemotron-3-Nano-30B-A3B-GGUF -f Modelfile
gathering model components
copying file sha256:0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940 100%
parsing GGUF
using existing layer sha256:0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940
writing manifest
success
E:\AI_Program\ollama\models\blobs>ollama list
NAME                                      ID              SIZE      MODIFIED
my-Nemotron-3-Nano-30B-A3B-GGUF:latest    a9fd9555cd88    24 GB     About a minute ago

在Ollama图形界面选择这个Nemotron-3模型对话,发现中文无法对话

修改Modelfile文件内容

FROM ./sha256-0e7f6e51fdd9039928749d07eed9e846dbfd97681646544c5406bcdd788e5940
SYSTEM "你是一个中文助手,对话使用简体中文,必要时才使用英文"

重新进行ollama create过程,大概1分钟不到,

12球问题

有12个小球,其中有一个小球的重量与其他不同。使用天平称三次,找出该重量不同的小球。中文回答问题。
第一轮:  A(4) ⇔ B(4)
          │
          ├─ 平衡 → 异常在 C(4)   → 第二轮:  C1(2) ⇔ C2(2)
          │        └─ 若平衡 → 第三轮对比剩余两颗即可定位
          │        └─ 若不平衡 → 已锁定在该组的某几只,第三轮直接称量确认轻重

          ├─ 左侧更重 → 可能:A中有“重”或 B中有“轻”
               第二轮: 把 A1+A2+B1 vs A3+B2+C1   (示例配置)
                     └─ 平衡 → 异常在剩余的四颗中
                     └─ 左侧更重/右侧更重 → 再对比至单球

          └─ 右侧更轻 → 对称处理(交换左右即可)

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐