背景

最近公司有项目用到了自然语言处理技术,利用google 发布的BERT框架和Tensorflow,我们可以快速对模型进行训练与发布。但是在这个过程中,有一项看起来“技术含量稍低”但却非常重要的工作却不太容易实现,那就是文本标注了。

工具调研

为了解决文本标注的问题,我先在网上搜索了一轮,发现市场上有一些(不多)文本标注类产品,例如tagtog/LightTAG。但是这类产品一来需要收费,二来只能做名字分类、命名实体识别类任务的标注,因此并不太适合我们使用。
后来在github上找到doccano项目。
doccano是一款开源的自然语言标注工具,已内置了

  1. 文本分类
  2. 语句间关系
  3. 序列标注

等标注功能。

Doccano运行效果

在这里插入图片描述

技术分析

前端:Vue.js+Nuxt.js+Vuetify.js
后端:Django
数据库:postgresql+sqlite

部署方式

本地部署 or Docker

扩展开发

后面有时间会再详细介绍我们针对三元组标的开发

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐