Fundamental NLP tasks

Synatactic tasks(句法分析任务)

Word Level
  • Morphological analysis(形态分析)
  • Word segmentation(词的分割)
  • Tokenization(标识化)
  • POS Tagging(词类)
  • Part-of-speech(POS)
    在这里插入图片描述
    在这里插入图片描述
Sentence level
  • Constituent parsing(成分语法)—— 成分短语将短语标签分配给成分,也被称为短语结构语法
    在这里插入图片描述

  • Dependency parsing(依存语法)—— 依存语法用head words 和 dependent words来分析句子
    在这里插入图片描述

  • CCG parsing(组合范畴语法)—— 标签具有丰富的信息
    在这里插入图片描述
    例如,bought这个单词,标签是(S/NP)/NP,是一个动词,它需要向右找一个单词a book(NP),组成一个动词短语,bought a book;然后再向左找一个NP,组成一句话

  • Supertagging
    浅层句法分析任务,解析前的一个预处理步骤

    • CCG supertagging(用CCG组合范畴语法给句子打标签)
    • Syntactic chunking(和成分语法类似,不过是把句子切分为短语块)

Semantic tasks(语义分析任务)

Word level
  • Word sense disambiguation(词义消岐WSD)
    Never trouble troubles till trouble troubles you.
    I saw a man saw a saw with a saw.

  • Metaphor(隐喻)
    Love is a battlefield.
    Bob is a couch potato

  • Sense relations between words
    同义词,反义词,上下位词,组成 部分
    在这里插入图片描述

  • Analogy(类比)
    在这里插入图片描述

Sentence level
  • Predicate-argument relations(semantic role labeling)
    在这里插入图片描述

  • Semantic graphs(语义图)
    在这里插入图片描述

Text entailment(自然语言推理)

natural langeage inference在这里插入图片描述

Discourse tasks(篇章分析)

  • Discourse: multiple sub-topics and coherence relations
  • Discourse parsing: Analyze the coherence relations between sub-topics in a discourse.
    在这里插入图片描述
    在这里插入图片描述

Information Extraction tasks

Information Exaction(IE) —— Obtain structured information from unstructured texts(从非结构文本中抽取结构信息)
在这里插入图片描述

Entities

Named entity recognition(命名实体识别)

识别给定文本段中提到的所有命名实体
在这里插入图片描述

Anaphora Resolution(指代消解)
  • 判断一句话中名词短语和代词指代什么
  • 零指代:检测和解释省略的代词
    在这里插入图片描述
Co-references(共指消解)
  • 在一段文字中找出相同意思的表达
    在这里插入图片描述

Relations

Relations extraction(关系抽取)

在这里插入图片描述

Knowlwdge graph(知识图谱)

在这里插入图片描述

  • Entity linking(实体链接)
    把文本中提到的实体和知识图谱中的实体进行关联

  • Related task(实体规范化)
    找到命名实体提及的规范术语
    在这里插入图片描述

  • Link prediction(关系预测)
    通过知识图谱来预测相关知识
    在这里插入图片描述

Events

Event Detection(事件检测)

从文本中检测出触发词
在这里插入图片描述

  • News event detection新事件检测 (first story detection)
    通过社会媒体中的文本,发现自然灾害等的信息,做到有效预防

  • Event factuality prediction事件可能性确定(predict the likelihood of event)
    在这里插入图片描述

  • Event time extraction(时间线检测)

  • Causality detection(因果检测)

  • Event coreference resolution(事件共指消解)

  • Zero-pronous(零指代消解)
    在这里插入图片描述

  • Script learning(脚本学习)
    在这里插入图片描述

Sentiment analysis(情感分析)

Sentiment related tasks(情感分析相关任务)
  • Sarcaem detection(讽刺检测)

  • Sentiment lexicon acquisition(情感词汇习得)

  • Emotion detection(情绪检测)
    在这里插入图片描述

  • Stance detection and argumentation mining
    在这里插入图片描述

Text Generation tasks

Realization(实现)

从句法/语义表示生成自然语言文本
在这里插入图片描述

Data-to-text Generation

在这里插入图片描述

Summarization(文本摘要)

在这里插入图片描述

  • Extractive summarzation(抽取式摘要)
  • Abstractive summarization(生成式摘要)

Machine translation(机器翻译)

在这里插入图片描述

Grammer error correction(句法纠错)

  • Grammer error detection
  • Disfluency detection
  • Writing quality assessment
    在这里插入图片描述

Question answering(QA)(问答)

Knowledge-base QA

在这里插入图片描述

Reading comprehension(machine reading)

用解释的方法来回答问题
在这里插入图片描述

Community QA

在这里插入图片描述

Open QA

在这里插入图片描述

Dialogue systems(对话系统)

  • Chit-chat(闲聊对话)
  • Task-oriented dialogues(基于任务的对话)
    在这里插入图片描述

Other Applications

Information retrieval(信息检索)

在这里插入图片描述

Recommendation system(推荐系统)

在这里插入图片描述

Text mining and text analytics

在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐