Baichuan2大模型，messages里传递了历史对话记录，但是回答跟历史记录不连贯，没有上下文的效果，问题解决！！！
因为baichuan2大模型的max_length最大是4096，如果你的max_new_tokens设置了4000，那么无论你传了多少历史对话记录，他都不能超过96个Token长度，这也就导致没有了上下文效果。跟踪过源码以后发现，用户输入的Token最大长度(max_input_tokens ),等于max_length - max_new_tokens,也就是说max_new_tokens越小
·
**选用大模型：Baichuan2-13B-Chat
问题解决：
max_new_tokens设置的过大
跟踪过源码以后发现，用户输入的Token最大长度(max_input_tokens ),等于max_length - max_new_tokens,也就是说max_new_tokens越小越好。
方案解析：
因为baichuan2大模型的max_length最大是4096，如果你的max_new_tokens设置了4000，那么无论你传了多少历史对话记录，他都不能超过96个Token长度，这也就导致没有了上下文效果。
拓展：
作者还测试了chatglm3-6b-32k大模型，发现，在用户输入Token的最大长度上，刚好与百川相反，GLM
模型的max_length等于max_new_tokens+输入的tokens长度，所以max_new_tokens设置越大越好。
因为他之后会判断用户输入的tokens长度是否小于max_length，输入的tokens长度小于max_length时，就可以容纳更多的上下文
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
7
0- 0
已为社区贡献5条内容
所有评论(0)