MLM是Masked Language Model的缩写,

中文可以翻译为“掩码语言模型”


这是一种在自然语言处理(NLP)领域中

用于训练语言模型的技术。

它最著名的应用是在

BERT(Bidirectional Encoder Representations from Transformers)模型中。


在MLM任务中,

输入给模型的一段文本中的某些词

会被随机地替换为一个特殊的[mask]标记


然后,模型的任务是根据这些被[mask]标记周围词语的上下文信息

来预测原本被遮盖的词是什么。


通过这种方式,

模型能够学习到词语之间的关系以及更广泛的语境信息

从而理解语言的复杂性,

包括词汇间的语法和语义联系


这种预训练方法让模型

能够在没有明确监督信号的情况下

从大量文本数据中学习丰富的语言表示

之后可以在各种下游任务上进行微调

比如情感分析问答系统命名实体识别等。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐