本地部署大模型

演示环境:华为笔记本window 提前准备魔法

如果想要更好的学习入门大模型相关,成为一个魔法师是很重要的

一.window安装docker

1.1下载docker

不过多解释docker,简单解释一下教程中docker安装目的:

docker是一个容器,把模型和chatui装到里面,不需要考虑环境的问题

docker desktop软件官网:https://www.docker.com/products/docker-desktop/

下载后直接下一步无脑安装,确保桌面出现docker图标

2.注册登录docker

针对个人可以免费使用,进入程序,直接注册登陆即可

确保进入当前页面

3.1验证docker是否安装成功

win+R 进入命令行 输入如下口令

docker ps 

出现上述图片,证明docker安装成功,完成一大半

二.安装ollama框架

先提供官网地址:https://ollama.com/

2.1ollama是什么

简单来说ollama是大模型部署的框架,有自己的仓库,有着市面上90%的模型.帮助你一行代码下载部署

2.2安装ollama

2.2.1针对cpu试玩

命令行中输入一下代码

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

cmd:

Microsoft Windows [版本 10.0.22631.3155]
(c) Microsoft Corporation。保留所有权利。

C:\Users\91095>docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行结束,框架安装结束,就这么简单

2.2.2针对GPU

笔记本拉跨感兴趣的自己去看一下文档https://hub.docker.com/r/ollama/ollama

2.3部署qwen模型

2.3.1llama2部署安装

docker exec -it ollama ollama run llama2

2.3.2 qwen部署安装

docker exec -it ollama ollama run qwen:7b

2.3.3安装模型

输入命令

下载模型中

完成安装,开始chat

之后开始聊天,随便输入你的内容

温馨提示,退出快捷键为ctrl+d

三.安装lobe-chat框架

这是一个前端ui的框架,仅展示继承ollama的配置

github官网,可以自行研究

https://github.com/lobehub/lobe-chat/blob/main/README.zh-CN.md

3.1安装

一行结束

docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat

3.2url访问

127.0.0.1:3210

选择模型

按照下图配置,上面也可以填写对应模型apikey进行调用,我们使用的ollama

自定义模型名称一定要和你下载的模型名字一样

docker exec -it ollama ollama run qwen:7b

我们下载的是 qwen:7b
结束 返回聊天页面

结束了

总结,全程最多十分钟,下载模型占一大半时间,不懂评论