[论文解读] Robust Reading Comprehension with Linguistic Constraints via Posterior Regularization

Mantong Zhou, Minlie Huang+1 more|arXiv (Cornell University)|Nov 16, 2019

Topic Modeling参考文献 14被引用 4

一句话总结

本文提出了一种后验正则化框架，通过整合语言学约束——实体、词汇和谓词约束，提升阅读理解模型在语义不同和语义等价对抗样本下的鲁棒性。通过利用外部知识对模型预测进行正则化，该方法降低了模型的过度自信和过度敏感，显著提升了泛化能力，且无需对抗训练数据或模型微调。

ABSTRACT

In spite of great advancements of machine reading comprehension (RC), existing RC models are still vulnerable and not robust to different types of adversarial examples. Neural models over-confidently predict wrong answers to semantic different adversarial examples, while over-sensitively predict wrong answers to semantic equivalent adversarial examples. Existing methods which improve the robustness of such neural models merely mitigate one of the two issues but ignore the other. In this paper, we address the over-confidence issue and the over-sensitivity issue existing in current RC models simultaneously with the help of external linguistic knowledge. We first incorporate external knowledge to impose different linguistic constraints (entity constraint, lexical constraint, and predicate constraint), and then regularize RC models through posterior regularization. Linguistic constraints induce more reasonable predictions for both semantic different and semantic equivalent adversarial examples, and posterior regularization provides an effective mechanism to incorporate these constraints. Our method can be applied to any existing neural RC models including state-of-the-art BERT models. Extensive experiments show that our method remarkably improves the robustness of base RC models, and is better to cope with these two issues simultaneously.

研究动机与目标

• 解决阅读理解模型在语义不同和语义等价对抗样本下的双重鲁棒性问题：对语义不同的对抗样本过度自信，对语义等价的样本过度敏感。
• 开发一种无需依赖对抗训练数据或模型特定架构的方法，以提升模型鲁棒性。
• 通过后验正则化将外部语言学知识（如同义词、实体、谓词）融入预测分布。
• 提供一种可泛化的框架，适用于任何预训练阅读理解模型，包括 BERT。
• 在不修改模型内部层的情况下，缓解由词嵌入语义漂移引起的表现困境。

提出的方法

• 使用 spaCy 和 NLTK 对问题和文本进行词性标注和命名实体识别，提取语言学特征（如实体、形容词、副词、动词）。
• 利用 ConceptNet 和 WordNet 中的语义关系，在问题和文本之间生成成对的语言学特征（如实体对、同义词对）。
• 定义三种约束类型：实体约束（针对命名实体）、词汇约束（针对同义词/反义词）和谓词约束（针对动词及其语义角色）。
• 将训练目标表述为一个约束优化问题，采用后验正则化方法，通过期望最大化（EM）算法在输出分布上施加约束。
• 通过惩罚项正则化模型的预测分布，使其与语言学约束保持一致，从而减少过拟合并提升泛化能力。
• 通过仅修改推理或微调阶段，将该方法应用于任何基础阅读理解模型（如 BERT），而无需修改模型架构。

实验结果

研究问题

• RQ1 语言学约束能否同时提升对语义不同和语义等价对抗样本的鲁棒性？
• RQ2 后验正则化如何有效将符号化语言学知识融入神经模型预测？
• RQ3 所提出的方法是否能在不使用训练阶段对抗数据的情况下，降低模型在语义改变输入上的过度自信？
• RQ4 与对抗训练或熵正则化相比，该方法在泛化能力上的提升程度如何？
• RQ5 该框架能否在不修改模型架构的前提下应用于现有预训练模型（如 BERT）？

主要发现

• 所提方法在 SQuAD-ADDSENT（语义不同）和 AddSentDiverse（语义等价）对抗基准上均显著提升了鲁棒性。
• 在 SQuAD-ADDSENT 上，该方法相比基线模型将错误率最高降低了 28%，表明其有效缓解了过度自信问题。
• 在 AddSentDiverse 上，该方法相比标准微调的 BERT 将准确率提升了 15%，表明其对语义等价扰动的敏感度显著降低。
• 该方法在鲁棒性方面优于对抗训练和熵正则化，后者仅能分别应对一种类型的对抗样本。
• 尽管由于解析限制，28% 的样本缺乏足够的语言学特征，该方法仍取得显著性能提升，表明其对约束提取不完整具有较强鲁棒性。
• 该框架在多种基础模型（包括 BERT）上均表现有效，且无需模型特定微调即可实现良好泛化。