[论文解读] Why and How to Pay Different Attention to Phrase Alignments of Different Intensities

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Apr 23, 2016

Topic Modeling参考文献 35被引用 3

一句话总结

本文提出一种基于门控循环单元（GRUs）的任务自适应注意力机制，以动态优先处理不同强度的短语对齐——在文本蕴涵（TE）任务中关注弱对齐，在答案选择（AS）任务中关注强对齐。通过学习任意粒度的短语表征并应用灵活的注意力池化，该模型在TE与AS基准上均取得最先进性能，表明对齐强度偏好具有任务依赖性。

ABSTRACT

This work studies comparatively two typical sentence pair classification tasks: textual entailment (TE) and answer selection (AS), observing that phrase alignments of different intensities contribute differently in these tasks. We address the problems of identifying phrase alignments of flexible granularity and pooling alignments of different intensities for these tasks. Examples for flexible granularity are alignments between two single words, between a single word and a phrase and between a short phrase and a long phrase. By intensity we roughly mean the degree of match, it ranges from identity over surface-form co-occurrence, rephrasing and other semantic relatedness to unrelated words as in lots of parenthesis text. Prior work (i) has limitations in phrase generation and representation, or (ii) conducts alignment at word and phrase levels by handcrafted features or (iii) utilizes a single attention mechanism over alignment intensities without considering the characteristics of specific tasks, which limits the system's effectiveness across tasks. We propose an architecture based on Gated Recurrent Unit that supports (i) representation learning of phrases of arbitrary granularity and (ii) task-specific focusing of phrase alignments between two sentences by attention pooling. Experimental results on TE and AS match our observation and are state-of-the-art.

研究动机与目标

• 探究不同强度的短语对齐在文本蕴涵（TE）与答案选择（AS）等句子对分类任务中的贡献差异。
• 解决先前方法依赖手工特征、固定对齐框架或刚性注意力机制的局限性，这些方法假设更强对齐始终更具重要性。
• 开发一种深度学习架构，以学习任意粒度的短语表征，并根据任务需求自适应调整注意力机制。
• 证明TE任务受益于关注弱对齐（如重述或转换的短语），而AS任务则受益于关注强对齐（如精确匹配或语义相近的匹配）。

提出的方法

• 利用门控循环单元（GRUs）学习任意长度与粒度的短语的密集、任务无关表征。
• 应用注意力池化机制，使模型能根据对齐强度灵活强调相关对齐，其中任务特定配置为：TE使用最小池化（min-pooling，聚焦弱对齐），AS使用最大池化（max-pooling，聚焦强对齐）。
• 引入两阶段注意力池化机制：第一阶段在短语对上计算注意力，以识别相关对齐；第二阶段通过池化（k-min或k-max）选择最具信息量的对齐用于决策。
• 为TE与AS任务采用统一架构，共享短语表征学习，但注意力策略根据各任务需求独立配置。
• 在最终分类器头中使用余弦相似度及额外特征（如WordCnt、WgtWordCnt）以增强匹配性能。

实验结果

研究问题

• RQ1 在文本蕴涵（TE）与答案选择（AS）任务中，不同强度的短语对齐是否贡献不同？
• RQ2 能否设计一种单一神经网络架构，使其能根据任务动态调整注意力，以优先处理基于对齐强度的对齐？
• RQ3 是否可以合理假设更强对齐始终对分类性能贡献更大？抑或在TE等特定任务中，弱对齐同样关键？
• RQ4 基于端到端短语表征学习的深度学习模型，是否能超越依赖手工语言特征或固定对齐机制的方法？

主要发现

• 在SNLI数据集上，该模型在文本蕴涵任务中达到最先进性能，通过聚焦弱对齐实现性能超越。
• 在WikiQA数据集上，答案选择任务中，该模型使用k-max-max-pooling方法取得MAP为0.7108、MRR为0.7203，显著优于基线模型（包括AP-CNN与ABCNN）。
• 可视化结果证实，模型能成功识别关键短语，如将'kids'对应到'young boys'，将'smiling nearby'对应到'a smile'，即使表面形式不同。
• k-min-pooling变体在TE中有效检测出关键弱对齐（如重述短语），而AS中的k-max-pooling则突出显示强对齐（如精确匹配）。
• 两阶段注意力池化机制通过过滤掉对齐较差的短语（尤其是受功能词如'and'或'near'影响的短语）有效降低噪声。
• 基于GRU的短语表征学习使不同粒度的短语可在同一嵌入空间中直接比较，而CNN-based模型因固定卷积核大小而无法实现这一点。