[论文解读] Temporal Probability Calibration

Tim Leathart, Maksymilian Polaczuk|arXiv (Cornell University)|Feb 7, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用 6

一句话总结

本文提出了一种时间概率校准方法，通过根据序列长度自适应调整校准参数，提升了在输入不完整时序列模型的概率估计可靠性。该方法引入了基于时间步的分箱法与指数温度缩放，相较于全局校准，在自然语言处理与电子竞技数据集上显著降低了期望校准误差（ECE）。

ABSTRACT

In many applications, accurate class probability estimates are required, but many types of models produce poor quality probability estimates despite achieving acceptable classification accuracy. Even though probability calibration has been a hot topic of research in recent times, the majority of this has investigated non-sequential data. In this paper, we consider calibrating models that produce class probability estimates from sequences of data, focusing on the case where predictions are obtained from incomplete sequences. We show that traditional calibration techniques are not sufficiently expressive for this task, and propose methods that adapt calibration schemes depending on the length of an input sequence. Experimental evaluation shows that the proposed methods are often substantially more effective at calibrating probability estimates from modern sequential architectures for incomplete sequences across a range of application domains.

研究动机与目标

• 解决全局概率校准在具有不完整序列的序列模型中的局限性。
• 在序列长度变化的实时预测场景中，提升类别概率估计的可靠性。
• 开发能够根据序列生成阶段（如游戏轮次或得分差）自适应调整的校准技术。
• 在多种序列数据类型（文本、视频、金融数据与电子竞技）上评估方法性能。
• 证明序列长度感知的校准优于传统全局校准，在ECE与NLL指标上表现更优。

提出的方法

• 提出基于时间步分箱的离散时间校准方法，适用于固定或可变长度的序列。
• 引入基于指数衰减温度缩放的连续时间校准方法，适用于连续时间序列。
• 对每种序列长度或时间步独立应用温度缩放，并从校准集中学习参数。
• 在可靠性图中使用等频分箱法，评估不同序列阶段的校准质量。
• 采用截断式数据增强技术，在训练与校准过程中模拟不完整序列。
• 使用期望校准误差（ECE）与负对数似然（NLL）作为性能评估指标。

实验结果

研究问题

• RQ1 传统全局校准方法能否有效处理具有不完整序列的序列模型中的概率估计？
• RQ2 在Transformer与RNN等模型中，校准性能如何随序列长度变化？
• RQ3 基于序列长度或时间步自适应调整校准参数，是否能提升校准质量，优于全局方法？
• RQ4 在序列预测任务中，哪些时间特征（如轮次编号、得分差）最有效引导校准？
• RQ5 长度自适应校准能否在现实世界的序列应用（如体育赛事预测或NLP）中降低ECE与NLL？

主要发现

• 在CS:GO电子竞技数据集中，使用轮次编号作为时间特征的时间校准方法，相比全局校准，ECE降低了最多30%。
• 在Large Movie Review数据集中，基于序列长度的时间校准方法在所有序列长度下，相比全局温度缩放，ECE降低了25%。
• 在连续时间设置中，指数衰减温度缩放优于全局缩放，尤其在序列生成的早期与后期阶段表现更优。
• 基于得分差的校准效果劣于轮次编号，可能是因为在游戏各阶段的时序区分能力较差。
• 深度平均网络（DANs）在时间校准下表现提升最大，其NLL与ECE在所有测试模型中最低。
• 可靠性图证实，时间校准显著提升了所有序列长度下的校准可靠性，尤其在中局与尾局阶段效果更明显。