[论文解读] Probing Neural Language Models for Human Tacit Assumptions

Nathaniel Weir, Adam Poliak+1 more|arXiv (Cornell University)|Apr 10, 2020

Topic Modeling参考文献 23被引用 19

一句话总结

本文研究了上下文化的神经网络语言模型（如 BERT 和 RoBERTa）是否能捕捉人类的刻板印象隐性假设（STAs）——即关于概念的未言明、常识性信念——通过使用基于人类提取的概念属性的填空诊断提示。模型在从相关属性中检索正确概念方面表现出色，表明 STAs 是在大规模文本训练中自然涌现的，无需特定任务的微调。

ABSTRACT

Humans carry stereotypic tacit assumptions (STAs) (Prince, 1978), or propositional beliefs about generic concepts. Such associations are crucial for understanding natural language. We construct a diagnostic set of word prediction prompts to evaluate whether recent neural contextualized language models trained on large text corpora capture STAs. Our prompts are based on human responses in a psychological study of conceptual associations. We find models to be profoundly effective at retrieving concepts given associated properties. Our results demonstrate empirical evidence that stereotypic conceptual representations are captured in neural models derived from semi-supervised linguistic exposure.

研究动机与目标

• 探究神经网络语言模型是否能从大规模文本语料中学习刻板印象隐性假设（STAs），即对概念的常识性信念。
• 评估 STAs（如“一只熊有毛发、利爪，是捕食者”）是否能通过源自人类心理学规范的词语预测提示被检索出来。
• 比较 BERT 和 RoBERTa 在捕捉 STAs 方面的表现，特别是针对感知性与非感知性属性的差异。
• 评估模型预测是否与心理学研究中的人类反应一致，并识别系统性差异。

提出的方法

• 基于心理学研究中人类提取的概念关联属性，构建诊断性填空提示。
• 使用预训练的上下文化语言模型（BERT 和 RoBERTa）生成这些提示中掩码词的预测。
• 使用平均平均精度（mAP）评估模型性能，涵盖多种关系（如“有”、“是”、“有”等），并结合概念召回率和属性关联性指标。
• 通过移除短语“大家都知道”来消融提示构建过程，以评估其对模型稳定性和性能的影响。
• 定性比较模型输出与人类反应，识别推理过程中的重叠与独特性。
• 选用 RoBERTa-L 作为主要模型，因其表现更优，并分析其在 Prince 自身 STAs 例子上的预测结果。

实验结果

研究问题

• RQ1 上下文化的语言模型（如 BERT 和 RoBERTa）能否像心理学研究中的人类一样，从一组相关属性中检索出正确的概念？
• RQ2 BERT 和 RoBERTa 在捕捉 STAs 方面表现如何比较，特别是在感知性与非感知性属性上的性能差异？
• RQ3 模型预测在多大程度上与人类提取的心理学规范一致？存在哪些系统性差异？
• RQ4 提示的词汇表述是否显著影响模型性能？不同提示结构下的预测稳定性如何？
• RQ5 模型能否捕捉训练数据中未明确列出的 STAs，例如人类回应中未列出的感官属性？

主要发现

• RoBERTa 在从相关属性中检索概念方面始终优于 BERT，在‘有’关系上的性能差距最高达 0.3 mAP。
• 模型在非感知性属性（如功能、百科知识类）上的表现显著优于感知性属性（如视觉、触觉），表明其在捕捉基于感官的关联方面存在局限。
• 尽管未进行微调，模型仍能生成概念上连贯且语法正确的补全结果，且许多预测可由人类验证。
• 模型表现出特有的偏见，例如频繁预测‘有腿’或‘危险’，无论上下文如何，表明存在过度泛化现象。
• 人类与模型反应之间存在显著重叠：模型不仅能正确预测概念，还能正确预测相关属性，包括提示中未明确列出的属性。
• 模型 RoBERTa-L 成功捕捉了 Prince 本人关于‘人’和‘国家’的 STAs，其高置信度预测与她的核心假设高度一致。