【大模型问答测试】大模型问答测试脚本实现（第一版）——简单实现问答测试功能
·
背景
公司已经做了一段时间的大模型，每次测试或者回归的时候都需要针对问答进行测试回归，耗费大量的时间与精力，因此结合产品特点，开发自动化脚本替代人工的操作，提升测试回归效率
设计
使用python+request+Excel进行设计。
Excel为用例层。整体设计框架如下：
关键功能
- 基于excel文件读取问题并对mql进行判断处理
- 对不通过问答进行标记输出，加快排查与测试回归定位问题
Excel模板如下：
实现逻辑
因为接口返回的是很长的一段内容，并且非标准格式，需要对其进行转码与提取。因此此处实现了两个方法：
以提取需要的mql。（此处的mql是我们后续进行断言的关键）
目前针对不通过的用法，先粗暴的进行标红处理，也是以一个方法来实现：
针对获取mql失败的用例，会给出错误提示，并且把Excel表中对应的框框标红，方便快速排查。
最终可以实现大数据量问法的快速回归。
后期实现想法
- 接入pytest模块，使用pytest来控制用例的实现
- 增加多轮、拒答等逻辑的实现
- 接入Jenkins，实现CICD
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
3
0- 0
已为社区贡献4条内容
所有评论(0)