微软Google AI模型在SuperGLUE测试中超越人类

最近，科技公司Google和Microsoft在权威的自然语言理解列表中已经超越了人类的表现。微软声称这“标志着迈向通用人工智能的重要里程碑”。
自然语言理解（NaturalLanguage谅解，称为NLU）任务是人工智能领域中的悠久历史，并且被称为“人工智能皇冠上的宝石”。由于自然语言本身存在歧义，因此很难获得高质量的自然语言理解。
为了衡量人工智能模型的自然语言理解能力，纽约大学，华盛顿大学，Facebook和DeepMind在2019年合作提出了一项人工智能基准，称为SuperGLUE。 SuperGLUE从2018年的GLUE演变而来，其语言理解任务更加困难，包括问题回答，自然语言推理，参考解析和单词义消歧等。
在最近更新的SuperGLUE中，Microsoft的DeBERTa模型和Google＃39 T5 + Meena模型排名第一和第二，超过了人类基线。这是SuperGLUE中人工智能第一次超越人类。
尽管在SuperGLUE测试中获得了令人满意的结果，但Microsoft承认DeBERTa模型尚未达到人类对自然语言的理解水平。人类非常善于运用从不同任务中学到的知识来解决新任务。
这是AI模型需要学习的地方。排名第一的Microsoft型号DeBERTa具有15亿个参数。
在SuperGLUE测试中，单个DeBERTa模型的宏观平均得分（89.9分）超过了人类的表现（89.8分）；该模型的总体得分（90.3分）也超过了人类基线（89.8分），在SuperGLUE中排名第一。排名第二的T5 + Meena模型得分为90.2，也超过了人类基线（89.8分）。
在SuperGLUE测试中，要求人工智能模型回答这样的问题：“已知这个孩子对疾病具有免疫力”。并询问“是什么原因造成的？”请选择：A.“他避免接触这种疾病”；或B.“他已经接种了这种疾病的疫苗”。
这是一个简单的因果推理任务，人类很容易选择正确的答案。但是对于人工智能模型来说，这并不是一个小挑战。
为了得出正确的答案，模型需要了解已知条件和期权之间的因果关系。 2021年1月6日，微软发布了一篇博客文章，详细介绍了DeBERTa模型，该模型这次获得了冠军。
DeBERTa是具有Disentangledattention的增强解码的BERT的全名，是一种基于Transformer体系结构的神经语言模型，该模型使用自我监督的学习方法对大量原始文本语料库进行预训练。 DeBERTa的目标是学习适用于各种自然语言理解任务的通用语言表达。
DeBERTa主要使用三种新技术，即单独的注意力机制，增强的蒙版解码器和用于微调的虚拟对策训练方法。排名第二的T5 + Meena技术来自Google。
Google团队尚未详细解释其模型为何在SuperGLUE中创下记录。但是，微软在博客文章中评论说Google的T5模型由110亿个参数组成。
相比之下，具有15亿参数的DeBERTa在培训和维护方面更加节能，并且更易于压缩和部署到各种程序中。微软正在将DeBERTa模型集成到下一代的“ Turing Natural Language Generation Model”中。
（TuringNLRv4）。下一步，他们计划向公众发布15亿参数的DeBERTa模型及其源代码。