[论文解读] When Bert Forgets How To POS: Amnesic Probing of Linguistic Properties and MLM Predictions

Yanai Elazar, Shauli Ravfogel+2 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 30被引用 25

一句话总结

本文提出了一种名为遗忘性探查（Amnesic Probing）的方法，通过测量从表示中移除特定信息后对模型性能的影响，评估神经网络模型中语言属性的功能重要性。该方法应用于 BERT 后发现，传统探查准确率与任务重要性之间并无相关性，从而对使用探查方法推断行为或因果关系的有效性提出质疑。

ABSTRACT

A growing body of work makes use of probing in order to investigate the working of neural models, often considered black boxes. Recently, an ongoing debate emerged surrounding the limitations of the probing paradigm. In this work, we point out the inability to infer behavioral conclusions from probing results, and offer an alternative method which is focused on how the information is being used, rather than on what information is encoded. Our method, Amnesic Probing, follows the intuition that the utility of a property for a given task can be assessed by measuring the influence of a causal intervention which removes it from the representation. Equipped with this new analysis tool, we can now ask questions that were not possible before, e.g. is part-of-speech information important for word prediction? We perform a series of analyses on BERT to answer these types of questions. Our findings demonstrate that conventional probing performance is not correlated to task importance, and we call for increased scrutiny of claims that draw behavioral or causal conclusions from probing results.

研究动机与目标

• 为解决传统探查方法在推断神经网络模型表征行为或因果关系方面的局限性。
• 探究诸如词性标注等语言属性是否对下游任务（如词语预测）具有功能重要性。
• 提出一种新方法，评估信息的使用方式，而不仅仅是其是否被编码。
• 质疑将探查性能作为语言特征在模型行为中重要性的代理指标的有效性。

提出的方法

• 遗忘性探查通过有针对性的干预，从 BERT 的隐藏表征中移除特定语言属性。
• 该方法通过测量模型预测结果的变化（特别是掩码语言建模（MLM）性能）来评估功能重要性。
• 它采用因果干预手段，模拟在推理过程中对特定语言特征（如词性标签）的遗忘。
• 该方法评估被移除信息对下游预测任务的影响，重点关注性能下降的程度。
• 通过将遗忘性干预后的性能下降与基线探查结果进行对比，评估编码与使用之间的差异。
• 该方法应用于 BERT 的下游 MLM 任务，以检验语言属性的重要性。

实验结果

研究问题

• RQ1 词性信息对 BERT 中的词语预测是否具有功能重要性？
• RQ2 探查性能在多大程度上与语言特征的实际任务重要性相关？
• RQ3 因果干预能否揭示标准探查无法检测到的功能依赖关系？
• RQ4 表征中存在语言信息是否意味着其在预测任务中的实用性？

主要发现

• 传统探查性能与语言特征在下游预测任务中的实际重要性之间并无相关性。
• 尽管词性信息极易被探查，但在 BERT 的掩码语言建模任务中并非功能上关键。
• 遗忘性探查表明，即使探查准确率保持较高，移除语言属性仍可能导致显著的性能下降，表明编码与使用之间存在脱节。
• 研究结果表明，高探查准确率并不意味着功能相关性，从而削弱了仅基于探查结果的推论。
• 结果表明，探查本身无法可靠地推断神经网络模型中的行为或因果关系。
• 遗忘性探查揭示了将探查视为表征实用性度量的局限性，倡导采用更具因果性的评估方法。