[论文解读] Textual Entailment with Structured Attentions and Composition

Kai Zhao, Liang Huang+1 more|arXiv (Cornell University)|Jan 4, 2017

Topic Modeling参考文献 21被引用 23

一句话总结

本文提出一种结构化注意力机制，该机制在句法树节点上运行，以提升文本蕴涵识别能力，实现子树级别蕴涵关系的递归组合。通过将蕴涵建模为自然逻辑的软性、可微版本，该方法在捕捉层次化和组合性语义关系方面显著优于标准的序列注意力模型，从而在准确率上取得显著提升。

ABSTRACT

Deep learning techniques are increasingly popular in the textual entailment task, overcoming the fragility of traditional discrete models with hard alignments and logics. In particular, the recently proposed attention models (Rocktäschel et al., 2015; Wang and Jiang, 2015) achieves state-of-the-art accuracy by computing soft word alignments between the premise and hypothesis sentences. However, there remains a major limitation: this line of work completely ignores syntax and recursion, which is helpful in many traditional efforts. We show that it is beneficial to extend the attention model to tree nodes between premise and hypothesis. More importantly, this subtree-level attention reveals information about entailment relation. We study the recursive composition of this subtree-level entailment relation, which can be viewed as a soft version of the Natural Logic framework (MacCartney and Manning, 2009). Experiments show that our structured attention and entailment composition model can correctly identify and infer entailment relations from the bottom up, and bring significant improvements in accuracy.

研究动机与目标

• 为解决序列注意力模型在文本蕴涵任务中的局限性，通过引入句法树结构来改进模型性能。
• 受自然逻辑启发，从子树级别的对齐出发，递归建模蕴涵关系。
• 通过结构化注意力与双注意力机制，提升蕴涵预测的可解释性与鲁棒性。
• 实现对复杂语言现象（如词序、短语级语义、非单调蕴涵）的更好处理。

提出的方法

• 通过在前提与假设的句法树中对应节点之间计算注意力，将序列级注意力机制扩展至树结构表示。
• 在每个树节点处引入蕴涵关系的连续、可微表示，实现从叶节点到根节点的递归组合。
• 采用双注意力机制，在前提到假设与假设到前提两个方向上计算对齐，以增强对齐的鲁棒性。
• 使用Tree-LSTM编码树结构化的句子表示，并在树节点而非词上应用注意力机制。
• 通过学习的组合函数递归组合蕴涵关系，模拟自然逻辑的模块化特性。
• 应用软注意力机制识别相关子树的对应关系，即使在词级别对齐模糊或具有误导性时也能有效工作。

实验结果

研究问题

• RQ1 树结构注意力是否能在超越词级别注意力机制的基础上，提升文本蕴涵识别性能？
• RQ2 子树级别蕴涵关系的递归组合如何提升模型性能与可解释性？
• RQ3 双注意力机制是否能缓解由模糊或错误的词对齐导致的错误？
• RQ4 建模句法结构在处理涉及词序或短语级语义的复杂蕴涵案例时，能在多大程度上提升泛化能力？
• RQ5 可微的、连续的蕴涵组合机制是否能为离散逻辑方法提供更具可解释性的替代方案？

主要发现

• 所提出的模型在SNLI数据集上相较于基线Tree-LSTM与标准注意力模型，取得了显著的准确率提升。
• 双注意力机制通过同时考虑前提到假设与假设到前提两个方向，减少了误对齐错误，尤其在存在隐含或模糊对应关系的情况下表现更优。
• 当标准注意力模型错误地将'auditorium'与'sitting'对齐而非与'statue'对齐时，本模型能正确识别出矛盾关系。
• 蕴涵关系的递归组合提供了清晰的自底向上解释，说明最终蕴涵判断的形成过程，显著增强了可解释性。
• 在涉及非单调词汇（如'stuffed'）的案例中，本模型优于标准注意力机制，凸显短语级语义的重要性。
• 该方法能有效处理词序颠倒或细微语义变化（如'loves'与'loved'）影响蕴涵关系的句子对，展现出对结构变化的强鲁棒性。