自然语言模型的发展,画成思维导图的方式,如下图,仅供参考
从上个世纪的统计语言模型,到RNN,Word2vec,glove,之后出现transformer,语言模型的发展前进了一大步,出现了BERT,GPT-2,T5,BART等语言模型。每个模型的优缺点即对应的论文如下:
自然语言模型的发展

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐