使用 GGUF 文件导入模型到 Ollama 

准备 GGUF 文件

将下载的 .gguf 文件移动到项目目录下的 1.从gguf直接导入/ 文件夹内（与 Modelfile 和 main.ipynb 同级）

├── 1.从gguf直接导入/
│   ├── main.ipynb     
│   ├── Modelfile      
│   └── Qwen2-0.5B.Q3_K_M.gguf 

创建 Modelfile

在终端中切换到 1.从gguf直接导入/ 目录

cd C:\Users\XXX\Desktop\ollama\handy-ollama\notebook\C3\1.从GGUF直接导入

运行创建命令

ollama create mymodel -f Modelfile

启动模型

ollama run mymodel

这家伙像是个人工智障

Ollama 自定义在 GPU 中运行

检查

检查驱动程序

nvidia-smi

我的笔记本 可怜兮兮的GPU

NVIDIA GeForce MX250 

检查CUDA

nvcc --version

去官网安装

1. 访问 NVIDIA CUDA Toolkit 官网。

2. 选择与系统（Windows 11/10）、GPU 驱动版本兼容的 CUDA 版本（例如 CUDA 12.7）。

3. 安装时勾选 "CUDA Development Tools"（开发工具），确保 nvcc 被安装。

安装好以后再次输入

nvcc --version

显示：

验证一下，使用GPU加速成功

参考文章

https://github.com/datawhalechina/handy-ollamahttps://github.com/datawhalechina/handy-ollama