[论文解读] Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study

Jinlan Fu, Pengfei Liu+2 more|arXiv (Cornell University)|Jan 12, 2020

Topic Modeling参考文献 27被引用 6

一句话总结

本文通过引入以实体和类别为中心的度量方法，重新思考命名实体识别（NER）中神经模型的泛化能力，以诊断模型泛化能力的局限性。研究发现数据偏差、标注错误以及类别间关系是关键瓶颈，纠正标注错误后CoNLL2003的F1值提升至93.78，且模型性能显著受已见实体及其上下文模式的影响。

ABSTRACT

While neural network-based models have achieved impressive performance on a large body of NLP tasks, the generalization behavior of different models remains poorly understood: Does this excellent performance imply a perfect generalization model, or are there still some limitations? In this paper, we take the NER task as a testbed to analyze the generalization behavior of existing models from different perspectives and characterize the differences of their generalization abilities through the lens of our proposed measures, which guides us to better design models and training methods. Experiments with in-depth analyses diagnose the bottleneck of existing neural NER models in terms of breakdown performance analysis, annotation errors, dataset bias, and category relationships, which suggest directions for improvement. We have released the datasets: (ReCoNLL, PLONER) for the future research at our project page: http://pfliu.com/InterpretNER/. As a by-product of this paper, we have open-sourced a project that involves a comprehensive summary of recent NER papers and classifies them into different research topics: https://github.com/pfliu-nlp/Named-Entity-Recognition-NER-Papers.

研究动机与目标

• 探究为何高性能神经NER模型尽管测试表现优异，仍可能缺乏真正的泛化能力。
• 诊断由数据特征引发的模型泛化能力局限，包括标注错误、数据集偏差和类别关系。
• 开发可解释的、基于数据的度量方法，以量化实体和类别层面的泛化行为，从而改进模型设计与训练。
• 通过识别影响模型鲁棒性的未充分探索因素（如上下文级泛化和类别重叠），为未来研究提供指导。

提出的方法

• 提出实体覆盖率比率，将测试集划分为可解释的组别，依据测试实体是否在训练中以相同标签出现。
• 引入覆盖率比率期望值和上下文覆盖率比率，量化数据集偏差及其对跨数据集泛化的影响。
• 通过测试实体间梯度对齐定义类别间一致性度量，捕捉共享或冲突的属性。
• 利用一致性度量分析错误模式，发现类别间一致性低与高误分类率密切相关。
• 采用跨数据集评估和针对性数据增强，评估上下文和实体重叠对泛化的影响。
• 应用上述度量方法诊断标注错误，并通过在修正数据集上重新评估验证改进效果。

实验结果

研究问题

• RQ1 模型是否真正实现了泛化，还是仅依赖于表面模式匹配和模板式泛化？
• RQ2 哪些数据集层面的因素能够区分泛化能力强与弱的模型？
• RQ3 实体类别之间的关系如何影响模型的学习难度和错误模式？
• RQ4 针对性的数据选择与增强是否能提升泛化能力，而不仅仅是增加训练数据规模？
• RQ5 标注错误在多大程度上掩盖了NER模型的真实泛化能力？

主要发现

• 最先进NER模型的性能严重依赖于测试实体是否在训练中以相同标签出现，表明其真正泛化能力有限。
• 所提出的度量方法可检测出掩盖模型泛化能力的人工标注错误；纠正这些错误后，CoNLL2003的F1值提升至93.78，超过此前最先进水平。
• 数据集偏差显著影响泛化能力：测试实体的存在及其上下文在训练数据中的出现，均影响模型性能，而不仅限于实体身份本身。
• 盲目增加训练数据无法保证性能提升；基于相关性和覆盖度的针对性数据选择更为有效。
• 实体类别间一致性低与高误分类率强相关，尤其在重叠类别（如“Organization”与“Location”）中更为明显。
• 本研究揭示，仅通过架构设计或知识预训练难以获得进一步性能提升，提示需要引入更丰富的上下文或语言先验知识。