官方推荐只保存模型参数,但部署文档推荐方法需要完整模型,我就被卡住了,经过这几天提问,成功在百度的大佬帮助下解决了:

只保存参数的模型部署请等待官方更新,保存完整模型文件的部署方式如下:

注意我选择的是python端部署方式!!

这是法研杯多分类实战案例的代码,我在它基础上进行的修改:

【快速上手ERNIE 3.0】法律文本多标签分类实战 - 飞桨AI Studio

动态图转为静态图的方法是以下链接的修改,看要是缺什么包自己从中复制过来:

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0/compress_trainer.py#L171

一、先保存完整模型:

这里设置steps格外重要,我们只能保存一次最想要的模型,多次保存动态图转静态图必定报错,

绿色标记位置为你想最终在第几个steps保存模型,如图:

其它直接抄我的图就行:

训练完后得到:

接下来部署,需要下面两个文件,去下面文件里找:

 

 

 另外需要改动下面几个地方:

 

 

 之后看文档使用命令启动,部署成功!!:

/root/anaconda3/envs/fenlei_bushu_ern/bin/python3.9 infer_cpu.py --task_name seq_cls --model_path ./inference/model

 效果如下:

 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐