[论文解读] Uncertainty Quantification with Pre-trained Language Models: A Large-Scale Empirical Analysis

Yuxin Xiao, Paul Pu Liang+4 more|arXiv (Cornell University)|Oct 10, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文针对预训练语言模型（PLM）中的不确定性量化开展大规模实证研究，评估了关键设计选择，包括PLM架构、规模、不确定性度量方法以及微调损失函数。研究发现，在分布内和分布外设置下，使用ELECTRA模型配合Focal Loss微调、通过温度缩放进行校准，并采用更大规模的模型，能够在各类NLP分类任务中实现最佳校准效果。

ABSTRACT

Pre-trained language models (PLMs) have gained increasing popularity due to their compelling prediction performance in diverse natural language processing (NLP) tasks. When formulating a PLM-based prediction pipeline for NLP tasks, it is also crucial for the pipeline to minimize the calibration error, especially in safety-critical applications. That is, the pipeline should reliably indicate when we can trust its predictions. In particular, there are various considerations behind the pipeline: (1) the choice and (2) the size of PLM, (3) the choice of uncertainty quantifier, (4) the choice of fine-tuning loss, and many more. Although prior work has looked into some of these considerations, they usually draw conclusions based on a limited scope of empirical studies. There still lacks a holistic analysis on how to compose a well-calibrated PLM-based prediction pipeline. To fill this void, we compare a wide range of popular options for each consideration based on three prevalent NLP classification tasks and the setting of domain shift. In response, we recommend the following: (1) use ELECTRA for PLM encoding, (2) use larger PLMs if possible, (3) use Temp Scaling as the uncertainty quantifier, and (4) use Focal Loss for fine-tuning.

研究动机与目标

• 确定在安全关键型NLP应用中构建良好校准的PLM预测流程的最佳配置。
• 探究不同选择（PLM架构、规模、不确定性度量方法及微调损失）对多样化NLP任务中校准误差的影响。
• 在分布偏移条件下评估流程性能，评估其在分布外设置下的鲁棒性与可靠性。
• 基于在三个NLP任务及分布内与分布外设置下的大规模实证评估，提供可操作的建议。

提出的方法

• 在三个NLP分类任务（情感分析、自然语言蕴含、常识推理）中开展大规模实证评估。
• 评估了120种不同的PLM基础流程，涵盖不同PLM架构、规模、不确定性度量方法及微调损失的组合配置。
• 使用分布内和分布外测试集，评估在分布偏移下的校准鲁棒性。
• 通过期望校准误差（ECE）、最大均值校准误差（MMCE）以及选择性预测性能来衡量校准效果。
• 通过FAR95（95%召回率下的误报率）评估分布外检测能力，以衡量不确定性在未见领域中的可靠性。
• 采用温度缩放进行事后校准，并与MC Dropout和集成方法进行比较。

实验结果

研究问题

• RQ1 哪种预训练语言模型架构在多样化NLP任务和分布偏移下能实现最一致的校准性能？
• RQ2 模型规模如何影响校准质量，无论是在分布内还是分布外场景下？
• RQ3 哪种不确定性度量方法（如温度缩放、MC Dropout、集成）最有效地降低PLM基础流程中的校准误差？
• RQ4 哪种微调损失（如交叉熵、Focal Loss、标签平滑、Brier损失、MMCE）能在不同任务和领域中实现更优的校准预测？

主要发现

• ELECTRA在所有三个任务及分布内与分布外设置下，均持续优于其他PLM，展现出更优的校准质量。
• 更大的PLM显著提升了校准效果，尤其在常识推理任务中，大模型相比小模型在分布内校准方面表现更优。
• Focal Loss在分布内和分布外评估中均实现了最低的期望校准误差（ECE），并取得最佳FAR95表现，表明其具备强大的分布外检测能力。
• 温度缩放是最有效的事后不确定性度量方法，能显著降低校准误差，尤其在分布外场景中效果突出。
• 与传统模型中表现优异不同，集成方法在应用于PLM基础流程时，降低校准误差的效果较弱。
• 标签平滑和Brier损失能改善分布外校准，但其在保持低ECE和高检测性能方面仍不如Focal Loss有效。