伪原创在线*敏*感*词*(如何解答知识库一系列相关问题的一个研究方向(组图))

　　伪原创在线*敏*感*词*(如何解答知识库一系列相关问题的一个研究方向(组图))

　　云诗兰，姜静

　　论文地址：

　　收录会议：

　　ACL2021

　　01 简介

　　会话知识库问答（CKBQA）是探索如何回答知识库中一系列相关问题的研究方向。一个典型的场景如下图所示：

　　图1 对话式知识库问答示例

　　目前，在主流的单轮KBQA方法中，CKBQA题往往存在“记忆障碍”的缺陷，历史中记录的实体信息容易在后续题的答案中丢失，导致无法回答一系列连贯准确的答案。题。

　　在本文中，作者尝试对这些隐式实体进行建模，作者称之为Focal Entities，例如图1中的The Great Gatsby、F. Scott Fitzgerald等。

　　此外，作者提出了一种新的基于图的模型来模拟焦点实体的转换，应用图卷积网络（GCN）推导出每个问题中焦点实体的概率分布，然后将它们与标准知识库问答模块相结合得到最终答案。

　　作者对两个数据集进行了实验，以证明他们提出的方法的有效性。

　　02 方法

　　整体结构

　　图2 整体架构*敏*感*词*

　　图 2 显示了整体架构。作者首先使用实体​​转换图对会话中涉及的所有实体及其交互进行建模，这些实体是候选焦点实体。

　　图的边缘反映了对话如何从一个实体转移到另一个实体，这种转换可以帮助估计一个实体是当前焦点实体的可能性。

　　在每一轮会话之后，实体转换图由 Graph Constructor 增量构建。Focal Entity Predictor（焦点实体预测器）为了得到每个实体在这个图中成为焦点的概率，根据之前的焦点实体分布和会话，生成一个新的焦点实体分布历史，由 Conversation History Encoder 确定（对话历史编码器）使用标准序列模型进行编码。最后，将生成的焦点实体分布结合到传统的 KBQA 模块中，得到最终的预测结果。

　　实体转移图和图构造器

　　如上所述，作者构建实体转移图的方式是基于以下对焦点实体的直观观察：

　　● 焦点实体通常是前一个问题的答案。因此该图收录所有先前的答案实体。

　　● 焦点实体也可能与上一个问题中的实体有关。所以该图收录那些被查询的实体。

　　● 焦点实体趋向于保持不变，在会话中具有“粘性”属性，因此在每个节点上都添加了一条自环边。

　　● 焦点实体通常会回到与第一个问题相关的实体。因此，始终将最新答案实体的边添加到与第一个问题相关的实体。

　　• 如果一个实体在会话历史中经常被讨论，它可能更可能是焦点实体。因此，为图中的这些实体提供了更多的连接性。

　　图3 实体转移图的具体例子

　　会话历史编码器

　　会话历史编码器的目标是编码先前问题的文本上下文及其预测答案，尤其是实体以外的信息。会话历史编码器的输出是单个向量，它作为附加输入传递给焦点实体预测器。

　　与以前的方法类似，作者利用分层编码器对对话历史进行编码，其中低级编码独立编码单个问题和预测答案，高级编码连接问题和答案序列以导出单个向量。

　　具体来说，作者在底层使用 BiLSTM 网络对每个问题和每个预测答案进行编码。高级编码器使用循环网络对序列进行编码，生成一系列隐藏向量，最后一个隐藏向量用于输出。

　　值得注意的是，虽然作者的会话历史编码器方法继承了前人的工作，但前人的工作往往直接将序列编码结果作为最终表示，从而引入了噪声。相比之下，我们的方法仅使用它来帮助预测焦点实体的分布。

　　焦点实体预测器

　　训练目标

　　模型的训练目标来自两部分：

　　(1） 尽量减少因答错问题造成的损失。使用标准的交叉熵损失函数。

　　(2）监督focal entity predictor的训练。本文生成训练数据如下：如果有一个实体可以生成至少一个query并给出正确答案，作者认为它是正确的focal entity对于这个问题，赋值为1，否则为0。最后，作者尝试在对分布进行归一化后最小化KL散度。

　　03 实验

　　主要结果

　　表1 Acc/F1比较结果

　　作者对*敏*感*词* CKBQA 数据集 ConvQuestions 和 CSQA 数据集子集 ConvCSQA 进行了方法评估。平均准确率和 F1 分数用于衡量性能。

　　作者的方法在 ConvQuestions 和 ConvCSQA 上分别优于现有技术 9.5 和 14.3 个百分点。我们证明了我们的方法在两个数据集上的有效性。

　　从实验结果可以发现，简单地通过标准的两级层次序列模型（如 ConvHistory）对会话历史进行建模并不总能提高性能。这表明，以加深和增厚模型的蛮力方式收录所有历史会话信息可能无法有效地捕获最重要的会话上下文信息。

　　进一步的分析

　　表2 消融实验结果

　　表 3 不同方法的准确率随对话轮数的增加而下降

　　图 5 两个对话案例中预测的焦点实体分布（每个彩色条代表焦点实体的概率）

　　作者通过消融实验验证了其各个模块的有效性（表2），并比较了不同方法在多轮问答中准确率的衰减，证明了多轮问答的效率（表3）@).>，最后用两个案例证明了其焦点实体预测的准确性（图5）.

　　此外，作者详细分析了焦点实体预测误差的情况，为后续工作铺路。作者发现错误主要有以下几个原因：

　　（1）错误的关系预测（43%）：本文模型中的关系预测是通过简单的答案预测器完成的，关系容易预测错误。以后可以使用性能更好的预测器。

　　（2） 查询生成失败（29%）：在许多情况下，由于知识库不完整或查询*敏*感*词*的限制，很难从知识库中采集到正确的查询。

　　（3）@> 主题实体的不正确链接（22%）：错误识别问题的主题实体也可能导致导致最终答案的错误，因为如果实体链接器将问题链接到错误的实体，则不太可能是正确的这是 KBQA 面临的共同挑战。

　　04 结论

　　在本文中，作者提出了一种在知识库会话中对焦点实体进行预测和建模的方法，以改进 CKBQA。作者的方法在准确性上超过了两种当前的基线方法，并在两个基准数据集上实现了最先进的性能。

　　05 灵感

　　这篇文章给我们留下了一些启发和思考：

　　（1）当需要解决上下文相关的序列问题时，传统的使用静态信息或简单叠加历史信息的编码往往不能达到很好的效果，而且噪声很大。通过分析常见的序列的特征 有效的编码或概率推导可以进一步提高序列问题的准确率，常用的框架有GCN、注意力模型等。

　　（2）目前的深度学习方法正在逐步向细化和可解释的方向发展。不再是一个或几个通用模型可以针对不同的问题进行迁移、组合、调整参数的情况。现在越来越需要澄清“为什么有用？”和“不能用吗？”这两个问题。

　　当然，大多数创新模型仍然是以直观的思维方式设计和构建的，其有效性往往只能从实验数据中得到证明，很少能从严格的逻辑或数学推导中得到验证。如何处理这个问题留给读者。思考。

　　私信我接收目标检测和R-CNN/数据分析应用/电子商务数据分析/数据分析在医学领域的应用/NLP学生项目演示/中文NLP/NLP系列直播课介绍及实际应用/ NLP前沿模型训练营等干货学习资源。