测试下来,大部分大模型对树上打鸟这个问题是答不对的,记得只有文心、chatglm等少数大模型可以答对。

问题:树上10只鸟,打死2只,还有几只?

回答如下:

可以看到Llama2-13B Gemma-7B Llama3-8B的回答全都是还剩8只鸟,数学上是对的,但是从逻辑上或者说脑筋急转弯的角度看,是不对的。

让我们看看ChatGLM3的回答吧:

Welcome to ChatGLM.cpp! Ask whatever you want. Type 'clear' to clear context. Type 'stop' to exit.
 
Prompt   > hello
ChatGLM3 > Hello! How can I help you today?
Prompt   > 树上7个鸟,打死一只,还有几只? 
ChatGLM3 > 如果你打死一只鸟,其它的鸟很可能会被吓飞。因此,在打这样您就可以份树上的鸟的情况下,可能一只都不剩。

 非常完美的回答,ChatGLM3真不错!

具体ChatGLM3的安装使用可以参考这篇文档:chatglm.cpp编译与执行_chatglm-cpp源码下载-CSDN博客

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐