@[TOC](本地离线部署ChatGlm4TypeError: ChatGLM4Tokenizer._pad() got an unexpected keyword argunent ‘padding_side’)

问题

将chatgml4及模型下载到本地,需要配置好模型路径,即MODLE_PATH对应的值,改为下载所在的路径即可,执行命令
Python trans_cli_demo.py
回答时出现错误。

在这里插入图片描述

解决方案

模型所在目录下tokenization_chatglm.py文件中,查找图片所示的行,我这里在270行左右,加上
padding_side:Optional[str] = None,

即可,至于原理未知,解决方案来源网络。

在这里插入图片描述
这时就可以正常聊天了。

编辑,myhappyandy

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐