前情提要

前面我们有说，BERT做的是什么？ Bert做的是填空题！ GPT做的是什么？ 做的是预测接下来要出现的Token是什么？ 它里面的结构有点像Transformer中的Decoder

GPT最有名的就是生成了一个关于独角兽的假新闻！ 同时也说明了它的作用就是可以写出一个文章

GPT系列很难去训练，因为太大了，也很难去fine-tune！ 但是GPT有一个很狂的想法： 就是说我们只给你少量或者没有参考样本，在给出你提示后，让你去学习出正确的答案！

给出了42个任务！ 这些是42个任务的准确率！

Beyond Text

当然也可以用在不同的领域上了！

Image

BYOL：Bootstrap Your Own Latent（不知道为什么会Work！ Deep learning的神奇）
SimCLR

Speech

Audio Version/Bert 也可以补全语音

Speech GLUE- SUPERB

这是各种Self-supervised的模型！