[论文解读] Question Decomposition with Dependency Graphs

Matan Hasson, Jonathan Berant|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 24被引用 5

一句话总结

本文提出一种基于依赖图（DG）的问答分解（QDMR）方法，将QDMR建模为问题词元之间的有标签关系。该方法引入一种非自回归图解析器，实现16倍的推理速度提升，并在样本效率上优于序列到序列（seq2seq）模型；同时，采用辅助DG监督的seq2seq模型在长而复杂的问答分解任务中展现出更强的泛化能力与性能表现。

ABSTRACT

QDMR is a meaning representation for complex questions, which decomposes questions into a sequence of atomic steps. While state-of-the-art QDMR parsers use the common sequence-to-sequence (seq2seq) approach, a QDMR structure fundamentally describes labeled relations between spans in the input question, and thus dependency-based approaches seem appropriate for this task. In this work, we present a QDMR parser that is based on dependency graphs (DGs), where nodes in the graph are words and edges describe logical relations that correspond to the different computation steps. We propose (a) a non-autoregressive graph parser, where all graph edges are computed simultaneously, and (b) a seq2seq parser that uses gold graph as auxiliary supervision. We find that a graph parser leads to a moderate reduction in performance (0.47 to 0.44), but to a 16x speed-up in inference time due to the non-autoregressive nature of the parser, and to improved sample complexity compared to a seq2seq model. Second, a seq2seq model trained with auxiliary graph supervision has better generalization to new domains compared to a seq2seq model, and also performs better on questions with long sequences of computation steps.

研究动机与目标

• 通过将QDMR建模为问题词元上的依赖图，解决自回归seq2seq模型在QDMR解析中的局限性。
• 通过引入非自回归图解析器，提升推理速度并降低样本复杂度。
• 通过图监督作为辅助训练信号，提升seq2seq模型在长或复杂分解序列上的泛化能力与性能表现。
• 提出一种新的评估指标LF-EM，基于中间逻辑形式，其与人类判断的对齐程度优于现有指标。

提出的方法

• 使用形式化算子与参数将黄金QDMR结构转换为中间逻辑形式（LFs）。
• 将LFs投影到问题词元上，生成黄金依赖图（DGs），其中节点为词元，边表示有标签的逻辑关系。
• 训练一种非自回归图解析器，一次性预测所有有标签边，避免自回归解码过程。
• 训练一个seq2seq模型，通过辅助损失预测来自编码器表示的黄金DG，采用能捕捉关系感知表征的Latent-RAT编码器。
• 利用结构化的中间LF表示，计算一种新的评估指标LF-EM，其与人类判断的相关性更优。
• 采用基于BERT的编码器并引入关系感知注意力（Latent-RAT），以更好地建模长距离依赖与结构复杂性。

实验结果

研究问题

• RQ1 将QDMR建模为问题词元上的依赖图，是否能相比标准seq2seq方法提升解析性能与效率？
• RQ2 非自回归图解析器是否能实现比自回归seq2seq模型更快的推理速度与更低的样本复杂度？
• RQ3 来自黄金依赖图的辅助监督是否能提升seq2seq模型在分布外数据与长推理链上的泛化能力？
• RQ4 所提出的LF-EM指标是否比现有QDMR评估指标更能反映人类判断？

主要发现

• 非自回归图解析器将LF-EM从0.47降至0.44，但推理时间相比seq2seq模型实现16倍加速。
• 该图解析器在样本复杂度方面表现更优，在仅使用10%训练数据时仍优于seq2seq模型。
• 采用辅助DG监督的seq2seq模型在完整数据集上达到相似性能（0.471 LF-EM），但显著提升了在新领域数据上的泛化能力。
• Latent-RAT模型在包含五步以上计算步骤的问题上表现更优，优于标准seq2seq模型。
• CopyNet+BERT中70%的错误，以及Latent-RAT中73.3%的错误，属于预测正确但未被LF-EM捕捉的情况，表明当前模型准确度高，但评估仍具挑战性。
• 新提出的LF-EM指标与人类判断的相关性优于以往指标，尤其在捕捉等价、扩展或冗余但正确的分解方面表现更佳。