大数据文摘出品
作者:宁静、曹培信
7月30日,文摘菌曾报道过,被谷歌XLNet全面刷爆的BERT,被Facebook升级后,变身”Robustly optimized BERT approach”——强力优化BERT方法,重新称霸GLUE、SQuAD和RACE三个排行榜。
在RACE测试集上的结果显示,RoBERTa的Accyracy相比BERT(large)提高了10个百分点,相比XLNet(large)提高了2个百分点。
现在,Facebook AI又将RoBERTa提交到了SuperGLUE,榜单显示RoBERTa已经领先Bert 15个百分点,表现直逼人类。
从GLUE到SuperGLUE:难度更大
从GLUE到SuperGLUE:难度更大
SuperGLUE在GLUE设计的基础上,采用了一系列更加困难的语言理解任务,除了共同任务识别文本蕴涵(RTE)和 Winograd 模式挑战赛(WSC)外,还添加了常识推理和词义消除等任务,上表中给出的其他测试数据集包括:
-
CB短文本语料库 -
MultiRC真假问答任务数据集 -
COPA因果推理 -
WiC词义消岐
RoBERTa离人类还有多远
-
RoBERTa良好的表现很大程度受益于充足的数据集:ReCoRD和MultiRC。效果转移到数据不佳的任务比较困难。 -
WinoGender coref.accuracy表现较好,但代价是gender parity更差。
实习/全职编辑记者招聘ing
加入我们,亲身体验一家专业科技媒体采写的每个细节,在最有前景的行业,和一群遍布全球最优秀的人一起成长。坐标北京·清华东门,在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn
朋友会在“发现-看一看”看到你“在看”的内容