[论文解读] Quantified Reproducibility Assessment of NLP Results

Anja Belz, Maja Popović+1 more|arXiv (Cornell University)|Apr 12, 2022

Software Engineering Research被引用 4

一句话总结

本文提出量化可复现性评估（QRA），一种基于计量学的方法，通过多次复现生成单一可比较的评分，以估计自然语言处理（NLP）系统-评估指标组合的可复现性。该方法实现了跨多样化研究的客观、尺度不变比较，并识别出影响可复现性的设计因素（如特征类型或评估类型），其中随机森林模型表现出最佳可复现性，而使用领域特定特征的逻辑回归分类器可复现性最差。

ABSTRACT

This paper describes and tests a method for carrying out quantified reproducibility assessment (QRA) that is based on concepts and definitions from metrology. QRA produces a single score estimating the degree of reproducibility of a given system and evaluation measure, on the basis of the scores from, and differences between, different reproductions. We test QRA on 18 system and evaluation measure combinations (involving diverse NLP tasks and types of evaluation), for each of which we have the original results and one to seven reproduction results. The proposed QRA method produces degree-of-reproducibility scores that are comparable across multiple reproductions not only of the same, but of different original studies. We find that the proposed method facilitates insights into causes of variation between reproductions, and allows conclusions to be drawn about what changes to system and/or evaluation design might lead to improved reproducibility.

研究动机与目标

• 为解决NLP研究中缺乏标准化、客观且可比较的可复现性评估方法的问题。
• 开发一种可量化、尺度不变的指标，以捕捉不同NLP系统和评估指标之间的可复现性。
• 提供对影响可复现性差异的系统与评估设计选择的洞察。
• 支持对现有研究的事后评估，并将可复现性测试整合到方法开发的未来流程中。

提出的方法

• QRA基于计量学原理，使用‘可复现度’概念作为标准化评分（CV∗），该评分由多次复现结果的变异系数推导得出。
• 该方法将CV∗计算为复现评分标准差与均值的比值，确保尺度不变性。
• 通过将系统与评估设计差异视为测量条件，纳入对可复现性的正式比较，从而实现对不同实验设置下可复现性的对比。
• QRA支持对现有研究的事后评估，以及在方法开发过程中进行前瞻性可重复性测试。
• 该方法采用一组标准化的测量条件，评估系统或评估设计变化对可复现性的影响。
• 通过标准化评分并考虑设计（不）相似性，支持对不同原始研究的对比分析。

实验结果

研究问题

• RQ1 如何以客观、跨研究可比且与尺度无关的方式评估NLP中的可复现性？
• RQ2 系统架构与评估设计的差异在复现结果间观察到的变异中起到何种作用？
• RQ3 哪些NLP系统与评估指标组合表现出最高或最低的可复现性，原因是什么？
• RQ4 QRA能否识别出导致可复现性提升或下降的具体设计选择？

主要发现

• QRA方法生成单一、尺度不变的评分（CV∗），可直接用于比较不同NLP系统和评估指标之间的可复现性。
• 使用句法特征的随机森林模型表现出最佳可复现性，而使用领域特定特征的逻辑回归分类器可复现性最差。
• 人工评估的可复现性并非普遍较低；例如，PASS系统中的立场可识别性是可复现性最高的之一。
• 多基础、多领域和多嵌入系统的人工评估wF1分数可复现性最低，表明自动评估指标可能存在潜在问题。
• 该方法成功识别出特征选择是影响作文评分系统可复现性差异的关键因素。
• 事后QRA分析表明，人工评估中持续存在高CV∗值可能表明评估方法本身存在根本性缺陷。