在这里插入图片描述

大家想看什么内容或者有什么问题欢迎在评论区或公众号留言

将Ollama部署到本地后,通过Spring AI来调用Ollama模型,实现AI助手功能。

1、创建一个Spring Boot项目

创建时需要注意Spring Boot和JDK版本。我这里Spring Boot版本是3.4.4,JDK版本为17。
Spring Boot版本不需要和我的一样,但是必须是Spring Boot 3以上。

在这里插入图片描述

在选组件是出了Spring Boot Web基础组件还需要选择Ollama组件。可以看到这里有很多模型可以选择。这里以Ollama为例
在这里插入图片描述

项目创建完成后pom文件。检查相关库是否引入成功
在这里插入图片描述

在properties文件中添加相关配置
在这里插入图片描述

参数说明:

  • spring.ai.ollama.chat.model :配置模型名称。
  • spring.ai.ollama.base-url:模型接口地址。
    在这里插入图片描述

spring.ai:后面可以是其他模型。这里是以ollama模型为例。

2.开发一个对话助手,试试水

创建相关Controller,初始化ChatClient。

    //注入ChatClient
    final ChatClient chatClient;
    //注入Ollama模型
    final OllamaChatModel ollamaChatModel;

    public OllamaController(OllamaChatModel ollamaChatModel) {
        this.ollamaChatModel = ollamaChatModel;
        //在初始化时,使用ChatClent.builder()选择自己的模型在构建chatclient对象
        this.chatClient = ChatClient.builder(ollamaChatModel).build();

    }

    @PostMapping("/ai/ollama")
    public String ollama(@RequestParam(value = "msg") String msg){

        return  chatClient.prompt()
                .user(msg)
                .call()
                .content();
    }

然后运行测试
在这里插入图片描述
通过测试发现使用的确实是本地的Ollama模型。

这样就可以使用自己开发的AI对话助手了。但是多对话几次就会发现他只会针对当前问题进行回答,并不会根据之前的问题和答案来进行思考。
在这里插入图片描述

对话助手就有这种情况是正常的,因为没有开发对话记忆功能。

下一篇文章给大家继续介绍。别忘了点赞关注!

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐