李宏毅老师-自监督学习（Self-supervised Learning）Part3

想研究又不会研究的研究生

636人浏览 · 2022-05-08 14:17:22

想研究又不会研究的研究生 · 2022-05-08 14:17:22 发布

慢慢来，会更好！
大家好，我是一个想研究又不会研究的研究生
陪伴大家一起学习成长！

那么，为什么我们要先做BERT工作呢？

越相近的字产生的向量越接近，如果与草、鸟与鱼等
同时，BERT会根据上下文，不同语义的同一个字会产生不同的向量

在这里插入图片描述

看看下图的例子，同一个果字对应的向量会不一样

在这里插入图片描述

有两堆苹果
一堆是吃的苹果（5个）
一堆是苹果模型（5个）

那么我们就可以发现，前5个果相似度高，前5个跟后5个相似度就低

在这里插入图片描述

所以，BERT输出的向量代表了那个词的意思。
可以在接下来的任务做的更好

那为什么BERT有如此功效呢？
因为训练BERT的时候就是根据上下文咨询来填空的

在这里插入图片描述

但是真的是这样吗？
可能还有其他不知所云的原因呢
我们来看一个DNA分类的例子

在这里插入图片描述

神奇的地方是，使用了we，you等字代替氨基酸，BERT的分类会更好。

在这里插入图片描述

接下来，我们来看一个Multi-lingual BERT
它的特点就是用各种语言来做填空题

在这里插入图片描述

我们在这里train了104种不同的语言来做填空题
那它有什么神奇之处的

我们拿英文的问答的资料做train，接下来它就会自动学做中文的问答的问题
下面是一些不可思议真实的数据

在这里插入图片描述

那为什么会这样的呢？
也许对于它而言，不同语言没什么差距
所以同义的不同语言的向量会比较接近

在这里插入图片描述

为了探寻不同语言之间的关系，做了这么一件事情

将所有中文的embbeding平均一下，英文的embbeding平均一下，发现两者之间存在着差距，
这个差距用一个蓝色向量来表示。

对一个multi-BERT输入英文问题后，
会输出一堆embedding，这堆embedding加上这个差距的embbeding后，最终竟然能输出中文的答案。

在这里插入图片描述

下面是真实的结果
好神奇

在这里插入图片描述

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模