使用langchain配合ollama本地部署deepseek的模型
·
ollama把本地部署deepseek
1. 进入ollama官网,下载ollama

2. 更改ollama软件安装路径
- 在C盘以外的盘中创建两个文件夹ollama和ollamamodel,我这里安装到D盘。
ollama: 放置安装路径
ollamamodel: 放下载的模型 - 把下载的ollama安装包剪切到ollama文件夹下
并且在当前文件夹下启动cmd命令
输入ollamasetup.exe /DIR=D:\ollama - 然后安装即可
更改默认模型的安装路径
更改系统环境变量,需要重启电脑才会生效

3. 下载模型

模型大小选择与电脑相近的显存,我的电脑是8G显存,这里我选择deepseek-r1:8b
然后进入cmd命令,输入ollama run deepseek-r1:8b即可下载
为了演示,我这里选择1.5b的模型,命令行窗口显示success就成功了。

然后我们就可以直接进行对话了
4. 如何启动ollama
打开cmd窗口,输入ollama 就会显示提示命令
# 运行模型
ollama run deepseek-r1:8b
#显示模型
ollama list
# 删除模型
ollama rm deepseek-r1:8b
langchain配合本地大模型
启用ollama端口
ollama server

Ollama默认使用11434端口,该错误表明:已有Ollama进程在后台运行或者是其他程序占用了该端口
解决方法
这里是因为ollama的图像界面打开了,把它退出即可
再运行就成功了

然后我们就不用管它了,这里就相当于打开了本地服务器。可以随时调用api
安装ollama的langchain依赖
pip install langchain-ollama
接入模型
from langchain_ollama import ChatOllama
llm = ChatOllama(
model = "deepseek-r1:8b",
temperature = 0,
)
llm.invoke("你好")
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)