Ollama部署大模型 (完整版本、网速慢处理、聊天界面)
切记!切记!切记!
Ollama软件下载的模型一般都是别人微调好的,且模型文件与HuggingFace等平台不一样,使用为主,没有官方API可以对模型微调(教程都是cpp这类的,没必要这么麻烦去操作),所以你如果只是使用大模型,那就Ollama,如果需要微调去部署等操作,去HuggingFace等网站下载模型文件。
一、Ollma的安装
官网:Ollama

下载安装即可,跟其他软件没什么区别;
重点来了! 模型默认下载保存位置在c盘,一个模型动辄十来个g,这还得了,安装完成后,设置环境变量 OLLAMA_MODELS

二、模型下载

搜到指定模型后,左边选择大小(1.5b\7b\8\等参数),右边命令自动跟着变化,直接复制到cmd运行(路径不重要),回车运行
![]()

图片只是展示,没对上名字
重点来了!使用的是国内的,无需梯子,所以下载速度很快;但是他跟某盘学了,在后面10%左右会出现降速(几十M变成几十K都有可能),这个时候直接 ctrl+c 中断,按 上键 获取上一个运行命令,回车运行,等待两三秒后,就会恢复下载速度(后面又降速就重复此类操作,网速嘎嘎快)。
三、对话
默认下载完成打开对话、也可以再次运行下载命令(名字匹配则运行,未匹配则下载)

(deepseek 的缺点,默认自带思考,就算你在prompt或input里面要求了,都还是输出这个过程,用字符串查找或正则匹配去选择输出的最终结果)
四、应用
cmd 看着不直观,直接的聊天对话得借助其他工具(chatbox等)(图像随便找的一个);在设置里面选择ollama模型,一般自动检测地址、名称等。
当然如果在代码中需要使用的话,如下所示:
from ollama import Client
ollama_client = Client(host='http://localhost:11434')
prompt = f"""
问题:{user_query}
回答:
"""
response = ollama_client.generate(
model="rajivmehtapy/natural-sql:latest",
prompt=prompt,
options={"temperature": 0.1}
)
result = response['response']
host地址是ollama默认地址(11434),包括在地方地方支持使用ollama模型的时候,导入的地址也是这个。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)