通过Spring AI调用本地Ollama模型,开发AI助手
·

大家想看什么内容或者有什么问题欢迎在评论区或公众号留言
将Ollama部署到本地后,通过Spring AI来调用Ollama模型,实现AI助手功能。
1、创建一个Spring Boot项目
创建时需要注意Spring Boot和JDK版本。我这里Spring Boot版本是3.4.4,JDK版本为17。
Spring Boot版本不需要和我的一样,但是必须是Spring Boot 3以上。

在选组件是出了Spring Boot Web基础组件还需要选择Ollama组件。可以看到这里有很多模型可以选择。这里以Ollama为例

项目创建完成后pom文件。检查相关库是否引入成功

在properties文件中添加相关配置

参数说明:
- spring.ai.ollama.chat.model :配置模型名称。
- spring.ai.ollama.base-url:模型接口地址。

spring.ai:后面可以是其他模型。这里是以ollama模型为例。
2.开发一个对话助手,试试水
创建相关Controller,初始化ChatClient。
//注入ChatClient
final ChatClient chatClient;
//注入Ollama模型
final OllamaChatModel ollamaChatModel;
public OllamaController(OllamaChatModel ollamaChatModel) {
this.ollamaChatModel = ollamaChatModel;
//在初始化时,使用ChatClent.builder()选择自己的模型在构建chatclient对象
this.chatClient = ChatClient.builder(ollamaChatModel).build();
}
@PostMapping("/ai/ollama")
public String ollama(@RequestParam(value = "msg") String msg){
return chatClient.prompt()
.user(msg)
.call()
.content();
}
然后运行测试

通过测试发现使用的确实是本地的Ollama模型。
这样就可以使用自己开发的AI对话助手了。但是多对话几次就会发现他只会针对当前问题进行回答,并不会根据之前的问题和答案来进行思考。

对话助手就有这种情况是正常的,因为没有开发对话记忆功能。
下一篇文章给大家继续介绍。别忘了点赞关注!
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)