[论文解读] Task-Specific Attentive Pooling of Phrase Alignments Contributes to Sentence Matching

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Jan 9, 2017

Topic Modeling被引用 15

一句话总结

该论文提出一种基于门控循环单元（GRUs）的任务特定注意力池化机制，用于学习任意粒度的短语表征，并根据其语义强度动态加权短语对齐。该方法通过聚焦文本蕴涵任务中的弱对齐和答案选择任务中的强对齐，在两项任务上均优于现有模型，得益于灵活可学习的注意力机制。

ABSTRACT

This work studies comparatively two typical sentence matching tasks: textual entailment (TE) and answer selection (AS), observing that weaker phrase alignments are more critical in TE, while stronger phrase alignments deserve more attention in AS. The key to reach this observation lies in phrase detection, phrase representation, phrase alignment, and more importantly how to connect those aligned phrases of different matching degrees with the final classifier. Prior work (i) has limitations in phrase generation and representation, or (ii) conducts alignment at word and phrase levels by handcrafted features or (iii) utilizes a single framework of alignment without considering the characteristics of specific tasks, which limits the framework's effectiveness across tasks. We propose an architecture based on Gated Recurrent Unit that supports (i) representation learning of phrases of arbitrary granularity and (ii) task-specific attentive pooling of phrase alignments between two sentences. Experimental results on TE and AS match our observation and show the effectiveness of our approach.

研究动机与目标

• 探究不同强度的短语对齐在不同自然语言处理任务中对句子匹配的贡献。
• 解决现有模型假设更强对齐始终更重要的局限性，该假设在文本蕴涵等任务中会失效。
• 开发一种深度学习框架，学习任意粒度的短语表征，并支持对齐上的任务特定注意力。
• 设计一种灵活的注意力机制，可根据任务需求自适应地优先考虑强对齐或弱对齐。
• 在两个主要句子匹配任务——文本蕴涵和答案选择上，验证该方法的有效性。

提出的方法

• 使用门控循环单元（GRUs）学习任意长度和粒度的短语的密集上下文感知表征。
• 应用两步注意力池化机制：首先，基于匹配得分在对齐的短语对上计算注意力权重；其次，应用k-min或k-max池化以选择最相关的短语。
• 采用任务特定的池化策略：在文本蕴涵任务中使用k-min池化（以强调弱对齐），在答案选择任务中使用k-max池化（以强调强对齐）。
• 将短语表征整合到统一的特征向量中，包含三个组成部分：表征相似性、语义相似性（余弦得分）以及句子长度、词数等附加特征。
• 使用软注意力机制，使模型能够聚焦于语义相关的短语，而无需依赖人工设计的特征或固定滤波器大小。
• 将短语对齐视为可学习、可微的过程，而非预定义或启发式过程，从而支持端到端训练。

实验结果

研究问题

• RQ1 短语对齐强度的重要性是否在不同句子匹配任务中有所不同？
• RQ2 单一神经网络架构能否动态适应，根据任务需求优先考虑强对齐或弱对齐？
• RQ3 学习任意粒度的短语表征在多大程度上影响对齐质量及下游性能？
• RQ4 任务特定的注意力池化在文本蕴涵和答案选择任务中，相较于固定注意力机制，能多大程度上提升性能？
• RQ5 当关键语义短语并非精确的词汇匹配时，模型是否能有效识别并聚焦于这些语义关键短语？

主要发现

• 所提出的基于GRU的模型结合任务特定注意力池化，在文本蕴涵和答案选择任务上均优于基线模型。
• k-min-max池化（k-min与k-max池化的变体）取得最佳性能，表明对关键短语的选择性注意力有助于提升泛化能力。
• 可视化结果证实，模型能正确识别关键短语，例如将'kids'对应到'young boys'，将'smiling nearby'对应到'a smile'，即使表面形式不同。
• 通过为包含功能词（如'and'或'near'）的短语分配低注意力，模型减少了对表面匹配的依赖，这些词会改变语义含义。
• 池化大小k具有显著影响：k值超过4时可获得有竞争力的结果，但k值过大时性能下降，表明选择top-k短语的最优性至关重要。
• 与ABCNN和AP-CNN相比，该方法取得更优结果，主要得益于其在共享嵌入空间中学习并比较任意长度短语的能力。