在这里插入图片描述

~犬📰余~

“我欲贱而贵,愚而智,贫而富,可乎?
曰:其唯学乎”

引言

\quad 大家好,我是犬余,Ollama已经用了很长时间了,之前在公司电脑跑deepseek-r1:7b的时候就慢得一批,扔出去一个问题出去上个厕所回来还在思考,不过也能理解, 毕竟公司电脑只有一块集成显卡,配置也不高。不过后来回家用自己的笔记本跑的时候还是一样的慢就忍不了了,打开任务管理器一看,CPU和内存都快跑满了,GPU还在2%左右的占用率,查了一下资料,原来是官网直接下载的windows版的Ollama不支持我的AMD显卡,于是,经过多方查找资料,一通操作之后,终于还是让我的AMD显卡跑起来了ollama。下面,我就把方法贴在下面,A卡的兄弟们速速收藏好!

1. 查看GPU类型

\quad 查看ollama的server.log日志文件,可以看到里面有这样一段(这一步犬余自己忘记截图了,借用一下网上找到的其他人的截图):
在这里插入图片描述

\quad 这行日志说明了当前版本的ollama支持的gpu类型(supported types),以及当前的gpu类型(gpu_type),这里可以发现自己的gpu类型确实不在当前版本的支持列表里。

2. 卸载旧Ollama

\quad 要想安装新的Ollama,当然要先卸载原来的Ollama,至于如何卸载,想必不用犬余再赘述了,这里直接跳过,进入下一步骤。

3. 下载AMD版Ollama

\quad 复制如下地址并访问:
https://github.com/likelovewant/ollama-for-amd/releases

\quad 进入之后可以看到如下页面:
在这里插入图片描述

\quad 首先是AMD版本Ollama的安装包,大家可以自行选择下载解压版或者是安装版,解压版顾名思义,解压即用,不用安装,安装版则是需要安装一下,而且默认是安装在C盘的,不过也可以通过参数自定义安装目录,自定义安装目录这方面我放在文末另外说。

\quad 下载并安装(解压)完成后,根据上一步在日志中看到的我们自己的gpu类型,选择ROCmLibs for 6.2.4或者ROCmLibs for 5.7并点击进入(犬余的是gfx1032,所以选择的是ROCmLibs for 6.2.4),进入之后选择gpu类型对应的具体压缩包下载:
在这里插入图片描述

\quad 下载并解压后,用解压出来的文件里的rocblas.dll文件将Ollama安装目录下的\lib\ollama\rocm\rocblas.dll文件替换掉,再用解压出来的文件里的library文件夹将Ollama安装目录下的\lib\ollama\rocm\rocblas\library文件夹替换掉。

4. 启动并验证

\quad 经过上述步骤处理后,启动我们的ollama,可以看到之前的amdgpu is not supported的日志已经没有了,而是出现了下面这种日志,这样就表示已经适配完成了:
在这里插入图片描述

\quad 适配完成后,重新下载大模型,这里由于deepseek-r1:7b不支持MCP调用,所以犬余选择了qwen3:8b来代替:
在这里插入图片描述

\quad 最后,让它给我们写一篇文章:
在这里插入图片描述

\quad 可以看到,GPU已经完全利用起来了,并且输出速度也有了明显提升:
在这里插入图片描述

5. 附加题

1:Ollama默认安装到C盘,如何自定义安装位置?

\quad 答:在安装Ollama时,不要直接点击安装文件,而是进入cmd命令行,通过指定DIR参数的方式修改安装目录,完整命令参考如下:
OllamaSetup.exe /DIR=D:\Program\Ollama
在这里插入图片描述
在这里插入图片描述

2:我的Ollama已经安装到其他盘下了,为什么我通过Ollama下载安装的大模型还是在C盘?

\quad 答:Ollama默认的模型下载地址为C:\Users{用户名}\AppData\Local\Ollama,想要修改模型下载地址,需要新建环境变量OLLAMA_MODELS=你想要放置模型的文件夹,如:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 我在下载模型时报出如下错误:

\quad Error: pull model manifest: open C:\Users\18676.ollama\id_ed25519: The system cannot find the path specified.
\quad 答:犬余遇到这种错误时,是由于在下载模型时手动删除了C:\Users\18676(用户名).ollama文件夹,导致中断重新下载时报了如上错误,如果遇到以上类似错误,可以停止ollama服务,删除C:\Users\18676(用户名).ollama文件夹后重启ollama再试。(这个文件夹似乎无法移动位置,里面的文件几乎不占什么空间,大家也没必要动他,就放在那也不占C盘什么空间)

写在最后

\quad 以上就是犬余本次分享的全部内容啦,如果对于文章内容还有任何疑问或者建议,欢迎留言讨论,再见~

在这里插入图片描述

关注犬余,共同进步

技术从此不孤单
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐