ollama把本地部署deepseek

1. 进入ollama官网,下载ollama

在这里插入图片描述

2. 更改ollama软件安装路径
  1. 在C盘以外的盘中创建两个文件夹ollama和ollamamodel,我这里安装到D盘。
    ollama: 放置安装路径
    ollamamodel: 放下载的模型
  2. 把下载的ollama安装包剪切到ollama文件夹下
    并且在当前文件夹下启动cmd命令
    输入ollamasetup.exe /DIR=D:\ollama
  3. 然后安装即可
更改默认模型的安装路径

更改系统环境变量,需要重启电脑才会生效
在这里插入图片描述

3. 下载模型

在这里插入图片描述
模型大小选择与电脑相近的显存,我的电脑是8G显存,这里我选择deepseek-r1:8b
然后进入cmd命令,输入ollama run deepseek-r1:8b即可下载
为了演示,我这里选择1.5b的模型,命令行窗口显示success就成功了。
在这里插入图片描述
然后我们就可以直接进行对话了

4. 如何启动ollama

打开cmd窗口,输入ollama 就会显示提示命令

# 运行模型
ollama run deepseek-r1:8b
#显示模型
ollama list
# 删除模型
ollama rm deepseek-r1:8b

langchain配合本地大模型

启用ollama端口

ollama server
在这里插入图片描述
Ollama默认使用11434端口,该错误表明:已有Ollama进程在后台运行或者是其他程序占用了该端口
解决方法
这里是因为ollama的图像界面打开了,把它退出即可
再运行就成功了
在这里插入图片描述
然后我们就不用管它了,这里就相当于打开了本地服务器。可以随时调用api

安装ollama的langchain依赖

pip install langchain-ollama

接入模型
from langchain_ollama import ChatOllama
llm = ChatOllama(
	model = "deepseek-r1:8b",
	temperature = 0,
)
llm.invoke("你好")
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐