西湖大学自然语言处理(三)——自然语言处理任务介绍
西湖大学自然语言处理(三)——自然语言处理任务介绍
Fundamental NLP tasks
Synatactic tasks(句法分析任务)
Word Level
- Morphological analysis(形态分析)
- Word segmentation(词的分割)
- Tokenization(标识化)
- POS Tagging(词类)
- Part-of-speech(POS)


Sentence level
-
Constituent parsing(成分语法)—— 成分短语将短语标签分配给成分,也被称为短语结构语法

-
Dependency parsing(依存语法)—— 依存语法用head words 和 dependent words来分析句子

-
CCG parsing(组合范畴语法)—— 标签具有丰富的信息

例如,bought这个单词,标签是(S/NP)/NP,是一个动词,它需要向右找一个单词a book(NP),组成一个动词短语,bought a book;然后再向左找一个NP,组成一句话 -
Supertagging
浅层句法分析任务,解析前的一个预处理步骤- CCG supertagging(用CCG组合范畴语法给句子打标签)
- Syntactic chunking(和成分语法类似,不过是把句子切分为短语块)
Semantic tasks(语义分析任务)
Word level
-
Word sense disambiguation(词义消岐WSD)
Never trouble troubles till trouble troubles you.
I saw a man saw a saw with a saw. -
Metaphor(隐喻)
Love is a battlefield.
Bob is a couch potato -
Sense relations between words
同义词,反义词,上下位词,组成 部分

-
Analogy(类比)

Sentence level
-
Predicate-argument relations(semantic role labeling)

-
Semantic graphs(语义图)

Text entailment(自然语言推理)
natural langeage inference
Discourse tasks(篇章分析)
- Discourse: multiple sub-topics and coherence relations
- Discourse parsing: Analyze the coherence relations between sub-topics in a discourse.


Information Extraction tasks
Information Exaction(IE) —— Obtain structured information from unstructured texts(从非结构文本中抽取结构信息)

Entities
Named entity recognition(命名实体识别)
识别给定文本段中提到的所有命名实体

Anaphora Resolution(指代消解)
- 判断一句话中名词短语和代词指代什么
- 零指代:检测和解释省略的代词

Co-references(共指消解)
- 在一段文字中找出相同意思的表达

Relations
Relations extraction(关系抽取)

Knowlwdge graph(知识图谱)

-
Entity linking(实体链接)
把文本中提到的实体和知识图谱中的实体进行关联 -
Related task(实体规范化)
找到命名实体提及的规范术语

-
Link prediction(关系预测)
通过知识图谱来预测相关知识

Events
Event Detection(事件检测)
从文本中检测出触发词

-
News event detection新事件检测 (first story detection)
通过社会媒体中的文本,发现自然灾害等的信息,做到有效预防 -
Event factuality prediction事件可能性确定(predict the likelihood of event)

-
Event time extraction(时间线检测)
-
Causality detection(因果检测)
-
Event coreference resolution(事件共指消解)
-
Zero-pronous(零指代消解)

-
Script learning(脚本学习)

Sentiment analysis(情感分析)

Sentiment related tasks(情感分析相关任务)
-
Sarcaem detection(讽刺检测)
-
Sentiment lexicon acquisition(情感词汇习得)
-
Emotion detection(情绪检测)

-
Stance detection and argumentation mining

Text Generation tasks
Realization(实现)
从句法/语义表示生成自然语言文本

Data-to-text Generation

Summarization(文本摘要)

- Extractive summarzation(抽取式摘要)
- Abstractive summarization(生成式摘要)
Machine translation(机器翻译)

Grammer error correction(句法纠错)
- Grammer error detection
- Disfluency detection
- Writing quality assessment

Question answering(QA)(问答)
Knowledge-base QA

Reading comprehension(machine reading)
用解释的方法来回答问题

Community QA

Open QA

Dialogue systems(对话系统)
- Chit-chat(闲聊对话)
- Task-oriented dialogues(基于任务的对话)

Other Applications
Information retrieval(信息检索)

Recommendation system(推荐系统)

Text mining and text analytics

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)