ERNIE3.0多标签多分类模型部署
官方推荐只保存模型参数,但部署文档推荐方法需要完整模型,我就被卡住了,经过这几天提问,成功在百度的大佬帮助下解决了:只保存参数的模型部署请等待官方更新,保存完整模型文件的部署方式如下:注意我选择的是python端部署方式!!这是法研杯多分类实战案例的代码,我在它基础上进行的修改:【快速上手ERNIE 3.0】法律文本多标签分类实战 - 飞桨AI Studio动态图转为静态图的方法是以下链接的修改,
官方推荐只保存模型参数,但部署文档推荐方法需要完整模型,我就被卡住了,经过这几天提问,成功在百度的大佬帮助下解决了:
只保存参数的模型部署请等待官方更新,保存完整模型文件的部署方式如下:
注意我选择的是python端部署方式!!
这是法研杯多分类实战案例的代码,我在它基础上进行的修改:
【快速上手ERNIE 3.0】法律文本多标签分类实战 - 飞桨AI Studio
动态图转为静态图的方法是以下链接的修改,看要是缺什么包自己从中复制过来:
https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0/compress_trainer.py#L171
一、先保存完整模型:
这里设置steps格外重要,我们只能保存一次最想要的模型,多次保存动态图转静态图必定报错,
绿色标记位置为你想最终在第几个steps保存模型,如图:
其它直接抄我的图就行:
训练完后得到:
接下来部署,需要下面两个文件,去下面文件里找:
另外需要改动下面几个地方:
之后看文档使用命令启动,部署成功!!:
/root/anaconda3/envs/fenlei_bushu_ern/bin/python3.9 infer_cpu.py --task_name seq_cls --model_path ./inference/model
效果如下:

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)