[大模型]本地离线部署chatglm4TypeError: got an unexpected keyword argunent ‘padding_side‘
[TOC](本地离线部署ChatGlm4TypeError: ChatGLM4Tokenizer._pad() got an unexpected keyword argunent ‘padding_side’)
·
@[TOC](本地离线部署ChatGlm4TypeError: ChatGLM4Tokenizer._pad() got an unexpected keyword argunent ‘padding_side’)
问题
将chatgml4及模型下载到本地,需要配置好模型路径,即MODLE_PATH对应的值,改为下载所在的路径即可,执行命令
Python trans_cli_demo.py
回答时出现错误。

解决方案
模型所在目录下tokenization_chatglm.py文件中,查找图片所示的行,我这里在270行左右,加上
padding_side:Optional[str] = None,
即可,至于原理未知,解决方案来源网络。

这时就可以正常聊天了。
编辑,myhappyandy
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)