搜索广告是搜索中商（qian）化的一环

　　

搜索广告是搜索中商（qian）化的一环

　　

　　本文介绍了ACL 2020论文“学习用于电子商务产品搜索的鲁棒模型”。该论文的作者来自爱荷华州立大学和亚马逊。

　　作者|机智的萧萧

　　编辑|丛结束

　　

　　论文地址：

　　1

　　经常将背景搜索和推荐进行比较。最突出的区别是搜索中有一个查询。有必要充分考虑召回内容和查询之间的相关性。如果内容是搜索广告，则内容要求更高，而相关性较低的内容将使用户体验较差。在一定程度上，相关性可以抽象为doc和查询之间的语义相似性。实际上，当前的语义相似性研究已经非常成熟。在sigir2018中，一些人对搜索和推荐中的深度学习匹配做了非常全面的研究。评论：用于搜索和推荐匹配的深度学习[1]。在语义匹配方面，每个人的重点通常是如何定义“匹配”，尤其是对如何更好地匹配两者的编码内容的分析。

　　

　　实际上有两个共同的想法：尽管语义相似性问题有很多解决方案，但实际上，在应用过程中，由于搜索内容的细微变化，相关性和相似性之间仍然存在很大的差距。关于语义意图的巨大变化。例如，用户想要购买“手机充电器”，但是结果是“手机外壳”。尽管两者具有一定程度的相似性，但是它们显然不相关。回顾搜索广告，搜索广告是搜索行业的一部分。希望是给用户尽可能多的联系。最初，刊登广告的人数减少了。没关系，它甚至更酷。

　　别着急，我今天将介绍一种新方法，来自Amazon ACL20的“学习电子商务产品搜索的稳健模型” [3]，文章主要用于产品搜索场景，目的是确定查询和项目/ doc之间的相关性。在本文中，提出了一种结构与“拮抗生成网络”相似的模型[4]，其中鉴别器可以测量查询和doc之间的相关性，并确定两者是否相关，并且*敏*感*词*可以生成类似的模型。但与查询无关。doc在类似于对抗生成网络模式的训练下，仍可以在噪声较大的数据下尽可能确保模型的鲁棒性。

　　2

　　模型1、问题定义

　　为了更好地描述模型和定义问题，使用了一对匹配对，其中文档的内容和相应的查询指出了两者之间的匹配，指出了两者不匹配，并指出了两次比赛。在建模过程中，将生成一个，那时将存在一个。 2、模型体系结构如果您想学习一些东西，在阅读本文时一定不要错过模型部分。

　　

　　该模型主要分为3部分：3、分类器

　　如上所述，分类器是LSTM注意模式的模型。其模型基于（Rocktaschel et al。，201 5) [5]。作者认为，搜索场景的句子格式将不同于常规自然语言。首先，查询和相应的项目标题将具有一个语法结构，但有所不同，查询通常较短，标题的描述更多关键词，广告场景中的查询和标题更可能是多对一的情况，例如“红色跑步鞋Nike”和“红色”“ Nike运动鞋”都对应于同一产品；此外，查询中的属性描述（例如品牌颜色（电子商务场景））将以长句显示，因此总之，作者对项目的查询和标题进行了不同的词向量训练，最后进行合并和计算。

　　

　　底部有两个输入，一个是titi，另一个是查询。两者由自己训练的word2vector编码，然后输入各自的LSTM，如图所示。可以看到的是，查询LSTM实际上使用标题LSTM的终端信息，然后输入加法注意，这实际上是一种更常规的注意方法（Bahdanau等，201 4) [6]，之后，进入第三层层完全连通，匹配度计算最终完成，值得注意的是使用了内部注意，虽然笔者使用了附加注意，但也提出了改进，这种改进提升了注意方式。不收录要考虑的上下文信息基于上一期的信息模型，让我们看一下他是如何做到的：设置LSTM的输出维度，以及标题和通过相应LSTM进行查询的输出矩阵。

　　

　　要了解注意力，首先要了解的是注意力的对象和基础。显然，在构造时，我们正在为查询中的LSTM输出之后的每个节点进行计算，因此该公式意味着对于查询中的每个单词，请注意标题的表示形式并获得分数。另外，它是在计算中引入的，目的是在步骤t-1之前添加模型的主要焦点信息。当然，注意力只是信息的调整。最后，必须考虑并汇总原创信息，因此有：

　　

　　其中是LSTM之后查询的最终输出。您得到的是这次将查询发送到完全连接的层之前的表单。

　　请注意，我们发现除了计算得出的总和之外，我们还考虑了更多问题。作者给出的解释是为了提高分类的效果。具体的表现形式在于上述查询和项目之间的“多重”。在考虑查询中的每个位置与注意中的整体标题之间的关系之后，计算“*敏*感*词*”的关系。通过参数训练，它实际上可以表示具有统一表达能力的整批与标题相关的查询。时间可以反映出这种所谓的“统一表达”与特定查询之间的差距。最后，当然是损失函数：

　　

　　其中一个是可调整阳性样品重量的超参数。在本文中，我们将更加关注正样本（无与伦比），因此。 4、文本*敏*感*词*搜索引擎下的正样本（不匹配）非常简单，但是要找到与相应标题不匹配但与对应查询相似的文本，这就是我们所说的“对抗样本”，确实不容易，我们希望找到对抗性实例来协助训练，从而提高模型的鲁棒性。在文章中，作者使用VED-变体编*敏*感*词*。我们希望输入可以产生一个。这不匹配，但是非常接近（实际上，在某种程度上可以理解，我们将挖掘相似性分类的“决策边界”）。作者本人并未对VED进行很多改进，而是直接遵循了（Bahuleyan等，201 7) [7]的操作，其特定格式变得非常简单：

　　

　　5、*敏*感*词*和查询之间的链接

　　由于内部实际上涉及两个任务：分类和生成，为了使这两个端到端整体成立，有必要涉及一个统一的损失函数，权衡这两个函数，以便使两个函数都能达到最佳状态尽可能同时。返回并查看整个模型架构，尤其是橙色部分：

　　

　　

　　在这里，总和是分别通过查询LSTM的查询结果和生成的查询的结果，这是满足概率的伯努利分布。展开以查看此公式的原理。首先，如果查询本身与标题不相似，即在整个公式中仅使用原创查询。相反，如果查询被完全使用，则使用生成的查询。为了产生一定量的噪声，引入了随机数。 6、损失函数设计，训练分类和生成的双重任务，然后应仔细考虑两者的联合学习。因此，作者设计了这样一个公式：

　　

　　请仔细查看此公式是否类似于上面的公式（3)？简单地说，只有当查询和标题非常相似时（负示例），才会考虑*敏*感*词*生成的查询和标题。但是，实际上，我们可以发现上述损失函数，无论是查看查询还是生成的查询，都只是在分析它们与文档之间的差异，换句话说，考虑了“正样本”，但是存在没有否定样本，他们实际上是怎么做的？让我们看一下他们的训练过程。

　　

　　在训练过程中，首先要做的是训练第一轮分类器，然后使用分类器对相似和不相似的查询进行划分，然后使用此数据来训练VED的第一个版本。在此基础上，使用公式（4)作为损失进行调整，最后得到所需的模型，尤其是该分类模型。

　　3

　　实验和结果具有基本模型和一定的理论基础，当然，我们必须开始实践这一内容。作者正在设计用于电子商务搜索。当然，有必要使用电子商务数据进行实验。实验数据量将达到320万对，其中只有少量是不匹配的。这里的“匹配”是指查询查询以后经常购买的那些产品的标题。 1、模型效果

　　

　　以gbdt作为基准（老实说，我不太同意使用gbdt作为基准。从我的角度来看，语义相似性不是主流，而dssm是更著名的基准）。可以看出，从这个角度来看，即使只有分类器，作者的模型效果甚至比著名的bert还要高。得到了进一步的改善。离线评估的效果令人欣喜，QUARTS在网上也取得了不错的表现。经过两个国家的A / B测试，与当前基准相比，它分别增加了1 2. 2％和5. 75％。 2、*敏*感*词*的效果，根据作者的分析，实际准确率可以达到82％，这是一个不错的水平，让我们来看一些情况：

　　

　　可以看出，正如作者所期望的，该查询与所生成的查询具有高度的相似性，同时可以满足与相应标题的关系。

　　4

　　结论和展望阅读文章之后，我们要做的当然是吸收在文章中提到和提出的一些建模技巧：让我感到更加惊讶的是，我坐下了，bert。并且损失了很多，但这主要是因为BERT是基于DSSM的改进。实际上，您可以尝试用bert替换在此模型下经过训练的标题嵌入和查询嵌入。估计会有新的改进（但是模型估计更大）。因此，让我为您提供一些可以尽可能改进的想法（请记住，下一个最高职位将是您的）。此外，我也想提到一点，就是在bert操蛋的时候，这个模型是除了LSTM之外，它本身没有复杂的操作，并且估计耗时约为10毫秒。参考文献：

　　[1] SIGIR2018的报告谈到了该领域的语义匹配模型：〜hexn / papers / sigir18-tutorial-deep-matching.pdf

　　[2]使用点击数据学习用于网络搜索的深度结构化语义模型：

　　[3]学习用于电子商务产品搜索的可靠模型：

　　[4]冒险：针对文本蕴涵性的对抗训练，并附有知识指导的示例：

　　[5]与神经注意有关的必然性：

　　[6]通过共同学习对齐和翻译来进行神经机器翻译。

　　[7]序列间模型的差异关注：〜ppoupart / publications / conversational-agents / variational-attention-sequence.pdf

　　招聘

　　AI Technology Review希望招聘一名技术编辑/记者

　　办公地点：北京/深圳

　　职位：主要参加学术会议报告和个人访谈

　　工作内容：

　　1、参加各种人工智能学术会议并报告会议内容；

　　2、对人工智能领域的学者或研发人员的采访；

　　3、关注学术领域的热点事件，并及时跟进和汇报。

　　要求：

　　1、喜欢人工智能的学术研究内容，并且善于与学者或公司工程师打交道；

　　2、具有一定的科学和工程背景，并且对人工智能技术有一定了解的人会更好；

　　3、较强的英语水平（工作涉及很多英语材料）；

　　4、较强的学习能力，对尖端的人工智能技术有一定的了解，并可以逐步形成自己的见解。

　　如果您有兴趣，可以将简历发送到邮箱：