环境说明

springboot 应用使用dashscope-sdk-java对接阿里百练 deepseek v3模型

问题表现

已经指定了输出json格式,但指令不明确,输出JSON格式的写法如下
注:提示词一开始是能正常功能的,但过了几天就出现了异常,原因是在线大模型在不断的升级与进化

5. 输出内容的模式如下(json格式输出)
com.fasterxml.jackson.core.JsonParseException: Unexpected character ('`' (code 96)): expected a valid value (JSON String, Number, Array, Object or token 'null', 'true' or 'false')

解析响应的数据出现异常:
在这里插入图片描述
LLM返回的数据,JSON字符中前后加了```
在这里插入图片描述

问题原因

在这里插入图片描述

解决方案

1、跟大模型交互的代码做兼容处理,代码层面去掉 ```
2、调整跟大模型的提示词,明确提示输出纯JSON结构,不需要加“戏”

如下为调试成功的效果
目前平台,阿里云百练 deepseek v3模式:

以纯 JSON 格式返回,不要输出 ```json```代码段

注意注意

最终发现优化提示词后,还是会有概率出现```,哈哈!!!
所以还是得自己的业务层代码处理
1、首先判断字段串前后的特殊字符串;
2、处理非法格式的JSON

提供阅读与参考这个文章的方案 大语言模型下的JSON数据格式交互

在这里插入图片描述

看来大模型交互返回JSON的处理是个很常见的问题
在这里插入图片描述
还有人提到其它的解决方案—换一个数据格式 (LinkedIn 的做法)
https://www.cnblogs.com/ghj1976/p/18329280/linkedin-zen-me-wen-ding-de-rang-llm-fan-hui-jie-g

在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐