登陆

预练习言语模型联系图+必读论文列表,清华荣誉出品

admin 2019-11-08 242人围观 ,发现0个评论

机器之心收拾

项目作者:王晓智、张正彦

参加:张倩、杜伟

预练习言语模型(PLM)是 NLP 范畴的一大热门话题。从 BERT 到 GPT2 再到 XLNet,各种预练习模型层出不穷,不少同学感叹,「大佬慢点,跟不上了……」那么,这么多预练习模型要怎样学?它们之间有什么相关?为了理清这些问题,来自清华大学的两位本科同学收拾了一份预练习言语模型必读论文列表,还用图的方式收拾出了这些模型之间的复杂联系。

预练习言语模型(PLM)是 NLP 范畴的一大热门话题。从 BERT 到 GPT2 再到 XLNet,各种预练习模型层出不穷,不少同学感叹,「大佬慢点,跟不上了……」那么,这么多预练习模型要怎样学?它们之间有什么相关?为了理清这些问题,来自清华大学的两位本科同学收拾了一份预练习言语模型必读论文列表,还用图的方式收拾出了这些模型之间的复杂联系。

Github 项目:https://github.com/thunlp/PLMpapers

项目的两位作者——王晓智和张正彦都是清华大学的在读本科生。其间,王晓智师从清华大学计算机系教授李涓子和副教授刘知远,研讨方向为 NLP 和常识图谱中的深度学习技能,于本年 4 月份当选 2019 年清华大学「未来学者」方案第二批名单;张正彦则参加过孙茂松教授辅导的许多作业,如之前发布的「」。此外,他仍是增强版言语表征模型 ERNIE 的榜首作者,并参加了多范畴中文预练习模型库房 的创立。

雍正后宫

在这个预练习模型论文列表项目中,两位同学首要给出了一份预练习言语模型的联系图预练习言语模型联系图+必读论文列表,清华荣誉出品:

图中列出了 BERT、GP预练习言语模型联系图+必读论文列表,清华荣誉出品T、XLNet、ERNIE 等咱们熟知的模型以及它们之间的联系。以 BERT 和清华大学提出的 ERNIE 为例,张正彦等人曾在论文中指出,BERT 等预练习言语模型只能学习言语相关的信息,学习不到「常识」相关的信息。因预练习言语模型联系图+必读论文列表,清华荣誉出品而他们提出用常识图谱增强 BERT 的预练习作用,让预练习言语模型也能变得「有文化」。在这张图中咱们能够清楚地看到论文中论述的这种联系,即 BERT+常识图谱→ERNIE(清华版)。这种简化版的展现关于初学者理清思路十分有协助。

除了这张联系图,两位同学还给出了一份预练习言语模型必读论文列表。列表分为三个部分:模型、常识蒸馏与模型紧缩以及相关剖析论文。机器之心从前介绍过其间的一些论文,读者能够依据链接找到相关论文中文介绍。

模型部分包括 34 篇论文,列表如下:

其间,机器之心介绍过的论文如下:

「常识蒸馏与模型紧缩」部分包括 11 篇论文,列表如下:

其间,机器之心介绍过的论文如下:

剖析部分包括 26 篇论文,列表如下:

其间,机器之心介绍过的论文如下:

参阅链接:

https://github.com/thunlp/PLMpapers

请关注微信公众号
微信二维码
不容错过
Powered By Z-BlogPHP