EMNLP 2019收录论文分享《Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs》。

 1. 研究动机 

对话机器人是人工智能公认的关键目标之一：在给定一个初始主题后，大家希望它可以流畅地和人类对话。为了达到这一目标，机器应该理解人类语言中的背景知识，从内部或外部资源中召回相关的知识内容，然后对这些知识内容进行统一的处理，最后输出合适且内容丰富的回复句。

图1：可解释推理的会话示例

然而很多模型容易对一个给定的主题生成缺乏语义内容的安全回复（Safe Response）或者生成不连贯的回复，这是因为仅从对话语料中学习语义而不借助背景知识是很难生成合适且内容丰富的回复句的。最近，已经有不少研究在对话生成模型中引入了外部知识，包括结构化的三元组知识或非结构化的文本知识。这些研究都是通过选择具体的知识内容加入到回复生成过程中来提升回复的质量。

在引入结构化知识的研究中，知识图有助于利用先验信息（如三元组属性或图路径）来缩小所需知识的候选范围。此外，这些先验信息还可以增强知识选择模型的泛化能力。但是，由于选出的知识往往是实体或普通词，因而无法为回复生成提供其他更加丰富的信息。在引入非结构化知识的研究中，文本知识（如电影评论或电影剧情）可以为回复生成提供丰富的参考信息，但是其非结构化的表示方案要求模型具有很强的能力来从知识文本集合中进行知识选择或者使用注意力机制。

 2. 技术方案 

为了弥补上述两种知识引入方案的不足，论文考虑将非结构化知识与结构化知识进行融合，并提出了基于扩充知识图（Augmented Knowledge Graph）的开放域对话生成模型（AKGCM），模型具体由知识选择和回复生成这两个模块组成。这种两阶段的体系结构和基于图推理算法的知识选择方式使得文中提出的系统具有较好的可解释性。

图2：AKGCM模型的整体架构图

论文以一般的三元组知识图为基本结构（Backbone），将非结构化知识句整体作为顶点加入知识图，并将其与句子中所包含的知识图中的顶点进行连边，以此将文本知识“融入”结构化知识图中。然后使用这个扩充的知识图来辅助进行知识选择和后续的回复生成。

论文采用了基于强化学习（RL）的推理模型MINERVA来实现知识选择模块，其中的推理过程很好地模拟了会话中的知识跳转过程（如图1）。同时，基于路径选择的推理方式也为知识选择模块带来了良好的泛化能力和可解释性。值得指出的是，扩充知识图的部分顶点包含长文本知识内容而不仅仅只是实体或词，这是和之前许多知识图最大的不同之处。为了充分利用这些长文本信息，论文借鉴了机器阅读理解（Machine Reading Comprehension）中的技术，在输入消息和候选顶点之间进行细粒度的语义匹配，并将结果作为打分特征加入MINERVA模型，以此来优化推理算法。

最后，对于回复生成模块，论文使用带Copy机制的编码器-解码器模型（Encoder-Decoder）基于所选知识和用户输入生成最终回复。

 3. 实验结果 

论文在ICLR Wizard-of-Wikipedia和EMNLP电影对话两个数据集上进行了实验。人工评估上，论文采用了合适度（Appr.）和丰富度（Infor.）两个指标对所有基线模型同AKGCM模型做对比评估。表1和表2分别展示了自动评估和人工评估的结果，其中人工评估结果的统计显著性检验p值均小于0.05。可以看到，AKGCM模型在人工评估中有比较明显的优势，但是在自动评估指标上，除Hit@1（反映知识选择模块从背景知识集合中选取所需知识的准确程度）之外，AKGCM模型的结果并不是一致最优。这或许说明BLEU-4、ROUGE-2、ROUGE-L这类基于语义片段的评估标准，在知识驱动的对话系统的研究中，与人工评估之间存在一定的差异。从实验结果也能看出，知识选择的准确率对于最终生成的回复句的质量有正向影响。

表1：两个数据集上自动评估的结果

2：两个数据集上人工评估的结果

此外，为了探究AKGCM模型中各个模块对整体效果的影响，论文还做了模型简化测试（Ablation Study），实验结果如表3所示。其中，w/o non-factoid knowledge 表示知识选择时，不使用非结构化文本知识；w/o Bilinear表示知识选择时，不使用双线性函数提取的输入消息和候选顶点间的相关性特征；w/o MRC 表示知识选择时，不使用机器阅读理解技术提取的输入消息和候选顶点间的细粒度语义匹配特征。可以发现，机器阅读理解技术的引入，对模型整体效果的提升比较显著。

表3：在EMNLP电影对话数据集上的模型简化测试结果

最后，论文还通过减小训练数据集的规模来分析各模型在小规模语料上的泛化能力，实验结果如图3所示，不难发现，AKGCM模型在超小规模训练数据集上的效果要显著地优于其他模型，这说明带有结构信息的扩充知识图为AKGCM模型带来了较强的泛化能力。

图3：在EMNLP电影对话数据集上不同训练数据采样比率下各模型的自动评估指标结果

 4. 总结 

论文用非结构化的文本知识扩充了结构化的三元组知识图，并将其作为背景知识整合到一个知识感知的开放域对话生成模型中，该模型既有基于图推理算法的知识选择模块来选取合适的知识，也有知识感知的回复生成模块来生成和所选知识相关的回复。在两个公开数据集上的实验表明，论文提出的方案能够基于给定的主题生成合适且内容丰富的回复句，同时还具备良好的泛化能力，这为后续知识驱动的对话生成模型的研究提供了有效的参考。

至此，《Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs》论文的分享到此结束，敬请关注“百度NLP”公众号，了解更多NLP最新前沿进展分享。

（文章EMNLP官网链接暂无，arxiv 论文链接：https://arxiv.org/abs/1903.10245v4）

百度自然语言处理（Natural Language Processing，NLP）以『理解语言，拥有智能，改变世界』为使命，研发自然语言处理核心技术，打造领先的技术平台和创新产品，服务全球用户，让复杂的世界更简单。