[论文解读] Self-Assembling Modular Networks for Interpretable Multi-Hop Reasoning

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 32被引用 4

一句话总结

该论文提出了一种基于动态控制器的自组装神经模块网络（NMN），用于在HotpotQA上实现可解释的多跳问答。该模型使用Find、Relocate、Compare和NoOp模块，由控制器RNN预测软布局，通过子问题分解、专家布局对齐和中间桥接实体推理，实现了最先进的性能与强大的可解释性。

ABSTRACT

Multi-hop QA requires a model to connect multiple pieces of evidence scattered in a long context to answer the question. The recently proposed HotpotQA (Yang et al., 2018) dataset is comprised of questions embodying four different multi-hop reasoning paradigms (two bridge entity setups, checking multiple properties, and comparing two entities), making it challenging for a single neural network to handle all four. In this work, we present an interpretable, controller-based Self-Assembling Neural Modular Network (Hu et al., 2017, 2018) for multi-hop reasoning, where we design four novel modules (Find, Relocate, Compare, NoOp) to perform unique types of language reasoning. Based on a question, our layout controller RNN dynamically infers a series of reasoning modules to construct the entire network. Empirically, we show that our dynamic, multi-hop modular network achieves significant improvements over the static, single-hop baseline (on both regular and adversarial evaluation). We further demonstrate the interpretability of our model via three analyses. First, the controller can softly decompose the multi-hop question into multiple single-hop sub-questions to promote compositional reasoning behavior of the main network. Second, the controller can predict layouts that conform to the layouts designed by human experts. Finally, the intermediate module can infer the entity that connects two distantly-located supporting facts by addressing the sub-question from the controller.

研究动机与目标

• 解决证据分散在长上下文中的多跳问答挑战，需要多个推理步骤。
• 设计一种模块化神经网络，能够根据问题的推理类型动态组合不同的推理模块。
• 通过将问题分解为子问题并预测与人类设计计划相似的推理布局，提升可解释性。
• 在保持推理步骤透明性的同时，实现HotpotQA上的优异性能，通过基于控制器的模块选择和中间推理追踪实现。

提出的方法

• 控制器RNN在每个推理步骤通过预测四种模块（Find、Relocate、Compare和NoOp）的分布，生成软布局。
• Find模块通过问题与上下文嵌入之间的双向注意力执行标准跨度抽取。
• Relocate模块基于先前答案，将注意力转移到新子问题，支持顺序推理。
• Compare模块比较两个先前模块的输出，以回答是/否问题，利用问题中的提示词如“same”或“different”。
• NoOp模块在无需进一步推理时保留当前状态。
• 模型使用可微分的基于堆栈的记忆和连续布局预测，通过梯度下降实现端到端训练。

实验结果

研究问题

• RQ1 神经模块网络能否根据问题类型动态组合推理模块以解决多跳QA任务？
• RQ2 控制器RNN在多大程度上能将复杂问题分解为反映组合推理意义的子问题？
• RQ3 预测的模块化布局在多大程度上与不同推理范式的人工设计专家布局对齐？
• RQ4 该模型能否推断出连接推理链中远距离支持事实的中间桥接实体？
• RQ5 将BERT作为上下文编码器是否能在保持模块化架构可解释性的同时提升性能？

主要发现

• 该模型在HotpotQA的标准和对抗性评估中，相较于静态单跳基线模型均取得显著性能提升。
• 在99.9%的桥接类型问题中，控制器预测的布局与人类专家设计一致；在68.6%的Yes/No答案比较类型问题中也达到一致。
• 控制器成功将多跳问题分解为子问题，在4个分析示例中，注意力图与预期推理步骤完全对齐。
• 在100%的桥接类型问题中，模型正确识别出中间桥接实体（如'Shirley Temple'），证明了其有效构建推理链的能力。
• 当引入BERT嵌入后，模型在EM上达到56.63，F1达到71.26，性能与微调的BERT-base相当，同时实现了更优的可解释性。
• BERT增强的NMN控制器在比较类型问题上与专家布局的对齐率达到96.9%，显著优于非BERT版本。