[论文解读] Strong Baselines for Simple Question Answering over Knowledge Graphs with and without Neural Networks

Salman Mohammed, Peng Shi+1 more|arXiv (Cornell University)|Dec 5, 2017

Topic Modeling参考文献 14被引用 11

一句话总结

本文评估了知识图谱上简单问题回答任务的简单而有效的基线模型，采用神经网络（LSTMs、GRUs、CNNs）和非神经方法（CRFs、逻辑回归）。研究发现，这些强大且简洁的模型达到了接近最先进水平的准确率，表明近期复杂的深度学习架构仅带来微小提升，可能引入不必要的复杂性。

ABSTRACT

We examine the problem of question answering over knowledge graphs, focusing on simple questions that can be answered by the lookup of a single fact. Adopting a straightforward decomposition of the problem into entity detection, entity linking, relation prediction, and evidence combination, we explore simple yet strong baselines. On the popular SimpleQuestions dataset, we find that basic LSTMs and GRUs plus a few heuristics yield accuracies that approach the state of the art, and techniques that do not use neural networks also perform reasonably well. These results show that gains from sophisticated deep learning techniques proposed in the literature are quite modest and that some previous models exhibit unnecessary complexity.

研究动机与目标

• 评估知识图谱上简单问题回答任务中简单、简洁模型的有效性。
• 挑战认为日益复杂的神经架构是实现最先进性能所必需的假设。
• 建立严谨的基线模型——包括神经与非神经方法——以公平评估先进深度学习技术的贡献。
• 强调复杂模型带来的性能提升往往微乎其微，且由于维护与部署成本更低，实践中更应优先考虑简单模型。
• 倡导在自然语言处理研究中采用更严谨、基于洞见的方法，优先考虑知识积累而非排行榜排名。

提出的方法

• 将简单问题回答分解为四个任务：实体识别、实体链接、关系预测和证据整合。
• 使用双向LSTM和GRU进行实体识别的序列标注，结合词嵌入和标准深度学习组件（批量归一化、ReLU、Dropout）。
• 采用CRFs与手工设计特征（词性标注、字符n-gram）作为实体识别与链接的非神经替代方案。
• 对关系预测使用CNN和逻辑回归，结合词嵌入（GloVe）或TF-IDF，避免使用复杂的注意力机制或残差连接。
• 通过简单的证据组合策略整合各模块输出，不进行端到端训练。
• 在多个随机种子下评估模型，以应对训练过程的非确定性，确保与以往单点结果相比更具鲁棒性。

实验结果

研究问题

• RQ1 基础神经网络架构（LSTMs、GRUs、CNNs）在知识图谱上简单问题回答任务中的基线表现如何？
• RQ2 非神经方法（如CRFs、逻辑回归）在性能上贡献如何？与神经模型相比表现如何？
• RQ3 与简单但调优良好的基线相比，使用复杂深度学习架构的实际性能增益有多大？
• RQ4 近期文献中报告的性能提升，有多少可归因于架构复杂性，又有多少可归因于模型调优与超参数选择？
• RQ5 强大的简单模型是否能减少技术债务，并在不牺牲准确率的前提下提升实际应用中的可部署性？

主要发现

• 使用双向LSTM进行实体识别、GRU进行关系预测的组合在SimpleQuestions测试集上实现了74.9%的端到端准确率，接近最先进水平。
• 将双向LSTM替换为CRF进行实体识别仅导致1.2%的准确率下降（73.7%），表明非神经方法依然非常有效。
• 使用CNN替代BiGRU进行关系预测最多仅造成0.2%的准确率下降，表明简化架构带来的性能损失可忽略不计。
• 完全非神经的基线模型（CRF用于实体识别，逻辑回归结合TF-IDF用于关系预测）实现了67.3%的准确率——出人意料地高，且高于原始Bordes等人（2015）的结果。
• 表现最佳的神经模型仅略微优于强基线模型，表明近期复杂模型仅带来微小增益，却显著增加了复杂性。
• 本研究警告称，神经网络训练中的非确定性以及微小实现差异（如软件版本）对准确率的影响，可能远大于文献中报告的增量改进。