[论文解读] Self-Consistent Narrative Prompts on Abductive Natural Language Inference

Chunkit Chan, Xin Liu+5 more|arXiv (Cornell University)|Sep 15, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出 alpha-PACE，一种用于溯因自然语言蕴涵（αNLI）的自一致性提示调优框架，通过利用句子间连贯性及多种叙事序列（如线性顺序与倒序时间顺序）来提升模型性能，方法通过连续可学习提示实现。该方法通过编码话语连接词并在不同叙事顺序中确保一致的推理过程，显著优于强基线模型。

ABSTRACT

Abduction has long been seen as crucial for narrative comprehension and reasoning about everyday situations. The abductive natural language inference ($α$NLI) task has been proposed, and this narrative text-based task aims to infer the most plausible hypothesis from the candidates given two observations. However, the inter-sentential coherence and the model consistency have not been well exploited in the previous works on this task. In this work, we propose a prompt tuning model $α$-PACE, which takes self-consistency and inter-sentential coherence into consideration. Besides, we propose a general self-consistent framework that considers various narrative sequences (e.g., linear narrative and reverse chronology) for guiding the pre-trained language model in understanding the narrative context of input. We conduct extensive experiments and thorough ablation studies to illustrate the necessity and effectiveness of $α$-PACE. The performance of our method shows significant improvement against extensive competitive baselines.

研究动机与目标

• 解决现有溯因自然语言蕴涵（αNLI）方法中句子间连贯性不足与模型不一致的问题。
• 通过建模多种叙事序列（包括线性和倒序时间顺序）来提升 αNLI 中的叙事理解，以增强上下文推理能力。
• 开发一种自一致性框架，通过提示调优减少模型在不同输入变体下的不一致性，同时保持语义一致性。
• 探究话语连接词（例如 '因此'、'然后'）如何影响模型行为与推理连贯性。
• 证明连续可学习提示在激发连贯且合理的解释方面优于离散提示或无提示。

提出的方法

• 提出一种通用的自一致性框架，考虑多种叙事序列（线性、倒序时间顺序及其他）以指导预训练语言模型（PLM）在 αNLI 中的应用。
• 为每种叙事序列设计特定的提示模板，利用话语连接词编码时间与因果关系。
• 采用连续可微提示令牌进行提示调优，同时冻结 PLM 权重，以确保模型一致性。
• 通过计算学习提示嵌入与话语连接词向量之间的余弦相似度，解释并验证模型所学习的连贯性模式。
• 在多个叙事序列上应用多数投票机制，以提升预测的鲁棒性与一致性。
• 在三种输入设置下评估性能：无提示、离散连接词提示与连续完形提示，以评估方法的有效性。

实验结果

研究问题

• RQ1 通过叙事序列引入句子间连贯性，如何影响 αNLI 中的溯因推理性能？
• RQ2 自一致性提示调优框架是否能提升模型在不同叙事顺序下的推理一致性？
• RQ3 连续可学习提示在激发连贯且合理的假设方面，相对于离散提示或无提示的优越程度如何？
• RQ4 模型所学习的话语连接词在叙事语境中是否能反映有意义的因果或时间关系？
• RQ5 使用多种叙事序列（如倒序时间顺序）是否能带来更鲁棒且准确的溯因推理？

主要发现

• 所提出的 alpha-PACE 模型在 αNLI 基准测试中显著优于强基线模型。
• 在大多数叙事序列模式下，连续完形提示优于离散话语连接词提示，证明了可微提示学习的优势。
• 倒序时间顺序的性能与线性叙事相当，验证了该框架在有效处理非线性叙事结构方面的能力。
• 模型所学习的提示与有意义的话语连接词（如 '因此'、'然后'）具有高度语义相似性，表明其有效编码了句子间关系。
• 消融实验确认，句子间连贯性与自一致性对性能至关重要，完整框架优于各类消融变体。
• 可解释性分析表明，模型学会了将特定话语标记与因果或时间关系相关联，从而增强叙事连贯性。