智东西和你一起走过BERT这两年的进阶之路

　　

智东西和你一起走过BERT这两年的进阶之路

　　Google搜索的灵魂！ BERT模型的兴起与辉煌

　　

　　明智的事情发生在12月22日20:50，您确定您不再关注此人

　　

　　

　　作者|*敏*感*词*

　　编辑|潘肯

　　如果您在Google上搜索“如何在没有道路的山上停车”，那么Google会告诉您什么？

　　如果是两年前，该网页可能会教您如何停车或如何在山上停车，因为它检测到关键字“ parking”和“ mountain”而忽略了看似微不足道的小词“ no”。

　　但是现在，它可以在页面上最显眼的位置，直接向您提供您最关心的问题：如何在没有车道的山坡上停车。因为它不仅学会找到这些关键词，而且学会理解这些词之间的联系。

　　

　　在搜索引擎“猜测”人们心中的背后，是Google的BERT模型逐渐开始理解人类语言。

　　今年10月，Google在“ Search On”事件中引入了数千个AI领域的新应用程序，其中包括BERT模型的新开发：它已应用于Google几乎所有的英语查询中，以及应用范围也得到了扩展。有70多种语言，去年这个时候，在英语查询中使用BERT的比例不超过10％。

　　使用率提高了十倍，发现的语言数量已增加到70多种...自2018年问世以来，硬技术赋予BERT``超人''语言理解能力， NLP会话（自然语言处理，以下简称NLP）具有什么样的“地震状态”？

　　今天，让Zhizi与您一起走过去的BERT的高级之路，并了解NLP行业的当前一半。

　　一、出生并上升，这是BERT的出生历史

　　伯特最杰出的“荣耀时刻”是在2018年：它主导了机器理解测试SQuAD，席卷了其他10个NLP测试，并实现了“超越所有人”的成就。

　　SQuAD是业界公认的机器阅读理解顶级测试，主要检查EM和F1这两个指标。

　　

　　EM是指模型答案与标准答案之间的匹配程度； F1表示模型的召回率和准确性。在这两个类别中，BERT分别得分8 7. 433和9 3. 160，超过了人类的8 2. 3和9 1. 2。许多研究人员认为这是自然语言领域的一项重大成就。 ，将改变NLP研究的方式。

　　为什么BERT这么好？

　　然后我们首先要看一下模型如何“学习语言”。

　　模型与人类相同。在说和读之前，它还需要记住单词并学习语法，但是与其通过上下文理解单词的含义，不如将单词转换为可以计算的向量或矩阵，然后通过神经。网络计算功能权重学习“语法”以“理解”人类语言。

　　BERT出生于2018年。它的全名是“来自变压器的双向编码器表示形式”。从其名称的角度来看，BERT是基于Transformer模型的双向编码器。

　　Transformer模型起源于机器翻译领域，放弃了递归神经网络（RNN）中的递归网络结构方法，使用注意力机制构造了每个单词的特征，并分析了单词之间的相互影响以获得每个单词word特征权重。

　　基于注意力的Transformer模型不仅关注单个单词，而且关注单词之间的关系，这比简单地提取单词向量更具有“概念性”。

　　

　　在解决了“记住单词”的问题之后，下一步就是学习语法。

　　BERT名称中嵌入的双向代码是其答案。

　　如下图所示，OpenAI的GPT模型使用了从左到右的Transformer，即通过分析上述内容获得了下一个单词的特征权重，但无法通过以下方法验证前一个单词的含义接下来，AllenNLP的ELMo受到独立训练。将两个方向的结果结合起来以生成下游任务特征。

　　

　　▲BERT与GPT和ELMo的比较

　　但是BERT不仅可以同时执行双向预测，还可以通过上下文进行全方位预测。

　　在BERT出现之前，NLP大楼上方有两个乌云：标记数据集不足和结果准确性低。

　　前者BERT是通过在无标签数据集中进行无监督学习来解决的；后者，通过深化Transformer层的数量和双向编码来完善BERT。

　　他出生于大型比赛的“记录”。两年的实际战斗经历了无数的考验和艰辛。当今的BERT不仅是学术界的一个里程碑，而且在广阔的实际应用领域中还有许多工作要做。

　　二、两年来，BERT的悠久历史

　　要称呼网络搜索领域的风雨无阻，Google的真正技能当然不只是BERT，Panda，Penguin，发薪日来优化搜索引擎，Pigeon来对抗垃圾邮件以及著名的Web排名算法Pagerank ...每个小模型每个小组都履行职责，形成Google搜索的“最强大的大脑”。

　　

　　BERT不到一岁，即2019年10月15日，他正式加入Google搜索的算法头脑，在美国接受了10％的英语查询。

　　“深层网络”和“双通道” BERT不仅可以“猜测*敏*感*词*”，而且还可以识别错误。

　　根据Google统计信息，每十次搜索都会出现拼写错误。如下图所示，用户尝试搜索晚餐，但将其键入为Dibber，但BERT可以绕过此错误并直接识别用户的意图并提供餐厅。位置。

　　

　　两个月后，BERT开始用70多种语言进行搜索任务。

　　一年后，BERT在Google搜索中使用了将近100％。凭借出色的理解能力，它取代了上一代查询工具RankBrain，成为搜索大脑的王牌。

　　这种“高分高能”性能的背后是BERT模型的无声改​​进。

　　2019年12月，BERT通过更有效地分配模型容量并简化了Transformer隐藏层中的参数和冗余检查，减少了计算量，同时提高了性能，并升级到了更轻量的ALBERT。

　　2020年3月，受GENerative Adversarial Network（GAN）的启发，BERT改进了预训练方法并减少了模型训练的时间，从而可以通过较少的计算获得相同的文本识别效果，并得出ELECTRA模型。

　　2020年8月，BERT中引入了多语言嵌入式模型，以实现不同语言之间的相互翻译，从而使用户可以在更大范围内搜索有效信息。

　　2020年10月，BERT致力于减少模型本身的“偏见”，使用模型评估指标来调整预训练模型中的参数，以减少搜索过程中可能发生的性别歧视。

　　从10％到100％，天生具有满分的BERT并没有为自己的桂冠而休息。相反，它不断地适应时代的需求，一次又一次地更新自身，并使用更少的培训时间和更少的计算来获得更好的结果。为了获得卓越的性能。

　　今年10月，Google宣布了BERT在搜索领域的表现。除了扩大应用范围和适用语言之外，BERT还将Google的学术搜索准确性提高了7％。

　　Google还表示，将来，它将使用BERT模型继续完善搜索算法，扩大搜索范围，并提高搜索的准确性。

　　三、 BERT揭开序幕，一百种思想流派抗衡

　　BERT的贡献远不止是提高Google搜索性能或获得“机器超越人类”的称号，而是作为一种高度通用的通用模型，为未来的NLP会议打开了光明的研究道路。

　　

　　▲Tuyuan网络

　　以BERT为分界点，NLP的领域可以分为动态表示模型时代（Dynamic Representation）和深度动态表示模型时代（Deep Dynamic Representation）。在以前的时代，注释数据集不足，并且单向编码器受到限制。在以后的时代，基于BERT开发的方法，“支撑边缘”成为NLP类的一半。

　　有数千种提高BERT的方法，可以将其大致分为两个方向：一个是垂直的。通过改进Transformer层的结构或调整参数，可以获得更轻量的模型，例如前面提到的ALBERT模型。 第二个是纵向。通过在BERT模型中扩展其他算法模型，扩展了BERT模型的功能，例如受GAN影响而诞生的ELECTRA模型。

　　当BERT逐渐发挥影响力并实现应用程序着陆时，NLP类的新秀也会轮流出现。

　　打破围城的两名将军出现在2019年的XLNet和2020年出现的GPT-3。

　　XLNet在BERT的基础上，增加了一种自动回归的预训练方法，以获取一个能够很好地理解语义和生成语义的模型，弥补了BERT模型在长文本阅读和文本生成方面的缺陷。

　　GPT-3更具侵略性。作为OpenAI的第三代深度语言学习模型，它具有1,705亿个参数，是上一代模型GPT-2的100倍，并且已预先训练了5,000亿个单词。 ，无需进行微调即可在多个NLP基准测试中获得最高分数。

　　

　　同时，GPT-3还解决了BERT模型的两个问题：对标记数据的依赖和对训练数据集的过度拟合，旨在成为更通用的NLP模型。

　　GPT-3基于更大的数据集和更多参数，不仅可以搜索网络，还可以自动回答问题，聊天，写小说，写分数甚至编程。

　　在当前的调试阶段，GPT-3还暴露出许多问题，包括仇恨言论，错误信息等，因此即使使用了NLP行业中最强大的反响，它目前也无法像其前身一样降落BERT。应用为人类带来价值。

　　结论：在NLP的新时代，BERT并不缺

　　自然语言处理（NLP）领域中有许多细分：文本分类，机器翻译，阅读理解，机器人聊天...每个子主题都对应于人工智能在现实生活中的实际应用：网络搜索，自动推荐，智能客户服务...

　　如何使人工智能真正地进入我们的生活，首先要解决的问题是如何使机器真正地了解我们想要的东西。

　　BERT使我们迈出了一大步。基于自我监督学习来处理未标记的数据，然后通过双向编码理解其含义，BERT打破了以前需要对训练数据进行标记的“魔咒”，并充分利用了大量未标记的文本。是NLP会议中的一个里程碑式的创新。

　　从诞生，发展到一系列语言模型的发展，已经两岁的BERT花费时间证明了其巨大的潜力。也许在将来，它将被集成到新的应用程序中，并给我们带来意想不到的AI革命。

　　参考资料：Google AI博客，Rock Content，searchengineland