[论文解读] Towards More Fine-grained and Reliable NLP Performance Prediction

Zihuiwen Ye, Pengfei Liu+2 more|arXiv (Cornell University)|Feb 10, 2021

Topic Modeling参考文献 32被引用 4

一句话总结

本文提出针对自然语言处理任务的细粒度性能预测，超越F1等整体指标，扩展至个体样本类别（如命名实体识别中的实体长度）的评估，并引入置信区间与校准分析以评估预测的可靠性。研究发现，尽管某些模型达到高准确率，但所有模型均高估了自身置信度，凸显了在性能预测系统中进行可靠性分析的必要性。

ABSTRACT

Performance prediction, the task of estimating a system's performance without performing experiments, allows us to reduce the experimental burden caused by the combinatorial explosion of different datasets, languages, tasks, and models. In this paper, we make two contributions to improving performance prediction for NLP tasks. First, we examine performance predictors not only for holistic measures of accuracy like F1 or BLEU but also fine-grained performance measures such as accuracy over individual classes of examples. Second, we propose methods to understand the reliability of a performance prediction model from two angles: confidence intervals and calibration. We perform an analysis of four types of NLP tasks, and both demonstrate the feasibility of fine-grained performance prediction and the necessity to perform reliability analysis for performance prediction methods in the future. We make our code publicly available: \url{https://github.com/neulab/Reliable-NLPPP}

研究动机与目标

• 将NLP中的性能预测从整体指标扩展至细粒度评估指标，如按样本类别（如命名实体识别中的实体长度）划分的准确率。
• 开发估计置信区间并评估性能预测模型校准程度的方法。
• 在多个NLP任务中，评估整体与细粒度设置下性能预测的可靠性。
• 探究高准确率的预测模型是否也具备良好的校准性，并量化预测区间中的过度自信程度。

提出的方法

• 本文将性能预测建模为回归任务，利用模型、训练数据、测试数据及训练策略的特征来估计模型性能。
• 提出一种细粒度评估设置，按子组（如按实体长度）预测性能，使用模型特征求解子组级别的F1或准确率。
• 通过训练数据的自助抽样（bootstrap resampling）估计预测的置信区间，以建模预测不确定性。
• 使用可靠性图与校准误差（CE）评估校准性，衡量预测置信度与实际准确率之间的偏差。
• 在四个NLP任务（机器翻译、词性标注、命名实体识别与分词）中，训练并比较了四种模型：XGBoost、LightGBM、MLP与基线线性模型。
• 通过覆盖率（真实值落在预测区间内的比例）与校准误差（CE）评估预测可靠性，重点关注过度自信问题。

实验结果

研究问题

• RQ1 性能预测能否扩展至细粒度评估指标，如按个体样本类别（如命名实体识别中的实体长度）划分的准确率？
• RQ2 在低数据场景下，如何可靠地估计性能预测的置信区间？
• RQ3 预测的置信区间在多大程度上与实际正确预测的频率相匹配？
• RQ4 高准确率的预测模型是否也具备良好的不确定性估计校准性？
• RQ5 在细粒度设置下，过度自信是否是各类性能预测模型的系统性问题？

主要发现

• XGBoost在整体设置下校准误差最低（3.75），覆盖率最高，优于LGBM及其他模型。
• 所有模型均产生过度自信的置信区间，预测区间未能覆盖真实性能的频率高于预期。
• LGBM在机器翻译任务中RMSE最低（2.389），但校准误差（7.23）高于XGBoost，表明尽管准确率高，但校准性差。
• 在细粒度命名实体识别分析中，XGBoost的校准性优于LGBM，其预测分布更贴近实际分布。
• 案例研究显示，LGBM的预测分布更窄且过度自信，而XGBoost则表现出向左偏移，表明系统性地低估性能。
• 结果表明，高准确率的预测模型未必具备良好的校准性，因此可靠性分析对实际部署至关重要。