「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到清华大学计算机系博士生秦禹嘉，为大家在线解读其发表于 ACL 2021 的最新工作：ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning。对本期主题感兴趣的小伙伴，6 月 17 日（周四）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

预训练语言模型在各种下游自然语言处理 任务中表现出卓越的性能。然而，传统的预训练目标并没有明确地对文本中的关系事实进行建模，这对于文本理解至关重要。为了解决这个问题，我们提出了一种新颖的对比学习框架 ERICA，以深入了解文本中的实体及实体间关系。

具体来说，我们定义了两个新的预训练任务来更好地理解实体和关系：1）实体区分任务，用于区分给定的头实体和关系可以推断出哪个尾实体；2）关系判别任务，在语义上区分两个关系是否接近，这其中涉及复杂的关系推理。实验结果表明，ERICA 可以在多种语言理解任务上，尤其是在低资源设定下提升典型 PLM（例如 BERT 和 RoBERTa）的性能。

论文标题：

ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning

论文链接：

https://arxiv.org/abs/2012.15022

代码链接：

https://github.com/thunlp/ERICA

本次分享的具体内容有： 

• 预训练语言模型的背景

• 实体与关系理解

• 统一的增强预训练语言模型实体与关系理解的框架

• 总结

嘉宾介绍

 秦禹嘉 / 清华大学博士生 

秦禹嘉，清华大学计算机系一年级博士生。导师刘知远副教授。主要研究方向为预训练语言模型，信息抽取，阅读理解等。以第一作者身份在 ACL / ICLR / TASLP 等会议/期刊上发表多篇论文。

直播地址 & 交流群

本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。