[论文解读] Probing What Different NLP Tasks Teach Machines about Function Word Comprehension

Najoung Kim, Roma Patel+10 more|arXiv (Cornell University)|Apr 25, 2019

Topic Modeling参考文献 45被引用 4

一句话总结

本论文通过结构化地修改现有数据集中的句子，引入了九项针对性的探针任务，以评估自然语言处理模型对功能词（如介词、wh-词和否定词）的理解程度。利用这些任务，论文比较了不同的预训练目标（例如语言建模、自然语言推理、CCG超标签）的表现，发现语言建模在平均表现上最佳，而自然语言推理提升了对否定的理解，CCG超标签则改善了句子边界检测，揭示了不同预训练目标在语言归纳偏向上存在显著差异。

ABSTRACT

We introduce a set of nine challenge tasks that test for the understanding of function words. These tasks are created by structurally mutating sentences from existing datasets to target the comprehension of specific types of function words (e.g., prepositions, wh-words). Using these probing tasks, we explore the effects of various pretraining objectives for sentence encoders (e.g., language modeling, CCG supertagging and natural language inference (NLI)) on the learned representations. Our results show that pretraining on language modeling performs the best on average across our probing tasks, supporting its widespread use for pretraining state-of-the-art NLP models, and CCG supertagging and NLI pretraining perform comparably. Overall, no pretraining objective dominates across the board, and our function word probing tasks highlight several intuitive differences between pretraining objectives, e.g., that NLI helps the comprehension of negation.

研究动机与目标

• 探究不同预训练目标如何影响模型在功能词理解方面的句表示学习。
• 通过保持模型架构不变，隔离预训练目标的影响，实现可控比较。
• 解决探针文献中对功能词关注不足的问题，尽管它们在组合语义中起着关键作用。
• 发布高质量、经过语言学精心整理的探针数据集，以支持未来对功能词理解的研究。

提出的方法

• 作者通过在现有数据集的句子上施加有针对性的结构变异，创建了九项探针任务，聚焦于特定类型的功能词（如介词、否定词、量词）。
• 每个任务评估模型是否能正确识别由最小的句法或词汇修改引发的语义变化。
• 探针任务被设计为句子对分类问题，模型需判断修改后的句子是否保留了原始句子的语义。
• 研究在同一模型架构上评估了多种预训练目标——语言建模、CCG超标签和自然语言推理。
• 通过在所有九项任务上的表现对比，衡量每种预训练目标所编码的语言知识。
• 作者进行了消融研究，以评估预训练数据集大小和预训练与探针数据集之间词汇重叠的影响。

实验结果

研究问题

• RQ1 不同预训练目标在多大程度上影响模型对功能词（如介词、wh-词和否定词）的理解能力？
• RQ2 哪种预训练目标在多种语言现象中能带来最稳健的功能词理解能力？
• RQ3 预训练目标的语言归纳偏置在多大程度上塑造了句编码器中功能词的表征？
• RQ4 模型在处理特定功能词类型（如空间介词与否定词）时，是否因预训练目标不同而表现出系统性差异？
• RQ5 增加预训练数据集大小或提高预训练与探针数据集之间的词汇重叠，是否能持续提升功能词探针任务的性能？

主要发现

• 语言建模预训练在全部九项探针任务上的平均表现最佳，支持其在当前自然语言处理实践中的主导地位。
• 自然语言推理（NLI）预训练显著提升了模型对否定的理解能力，尤其是在复杂否定模式中。
• CCG超标签预训练改善了对有意义句子边界的检测能力，表明其更有效地捕捉了句法结构。
• 没有一种预训练目标在所有功能词类型上均优于其他目标，表明不同目标之间存在互补优势。
• 预训练与探针数据集之间的词汇重叠并非性能的显著预测因子，表明性能差异主要源于语言归纳偏置而非词汇暴露程度。
• 预训练阶段的数据集大小并未一致地提升探针性能，甚至在某些情况下，更大的数据集反而导致性能下降，表明可能存在负面归纳偏置。