[论文解读] Reliable Confidence Estimation via Online Learning.

Volodymyr Kuleshov, Stefano Ermon|arXiv (Cornell University)|Jul 13, 2016

Machine Learning and Data Classification被引用 3

一句话总结

本文提出了一种基于在线学习的方法，用于在分类模型中实现可靠的置信度估计，通过生成校准概率，即使在分布偏移或对抗性输入下也能保持准确性和良好的校准性。该方法提供了形式化的置信度边界，且无需单独的校准数据集，从而确保了准确性和收敛性的理论保证。

ABSTRACT

Assessing uncertainty within machine learning systems is an important step towards ensuring their safety and reliability. Existing uncertainty estimation techniques may fail when their modeling assumptions are not met, e.g. when the data distribution differs from the one seen at training time. Here, we propose techniques that assess a classification algorithm's uncertainty via calibrated probabilities (i.e. probabilities that match empirical outcome frequencies in the long run) and which are guaranteed to be reliable (i.e. accurate and calibrated) on out-of-distribution input, including input generated by an adversary. Our methods admit formal bounds that can serve as confidence intervals, and process data in an online manner, which obviates the need for a separate calibration dataset. We establish theoretical guarantees on our methods' accuracies and convergence rates, and we validate them on two real-world problems: question answering and medical diagnosis from genomic data.

研究动机与目标

• 解决现有不确定性估计技术在数据分布偏离训练数据时的失效问题。
• 开发一种方法，在分布外数据和对抗性输入上仍能保持可靠且校准的置信度概率。
• 通过实现在线学习和实时置信度估计，消除对单独校准数据集的需求。
• 为置信区间提供正式的理论边界，确保长期有效性。
• 确保在问答和基因组诊断等多样化实际应用场景中，不确定性估计的鲁棒性和准确性。

提出的方法

• 该方法利用在线学习，随着新数据的到达逐步更新模型置信度估计，避免批处理和校准数据集的需求。
• 它生成与随时间推移的实证结果频率相匹配的校准概率，确保长期可靠性。
• 该方法结合了基于统计保证推导出的形式化置信区间边界，增强了可解释性和可信度。
• 它采用递归估计框架，能够实时适应数据漂移和分布偏移。
• 该方法通过在扰动下仍保持良好校准的输出，设计为对对抗性样本具有鲁棒性。
• 理论分析在最小建模假设下建立了收敛速率和准确度边界。

实验结果

研究问题

• RQ1 是否可以在不依赖单独校准数据集的前提下，实现分布偏移下的可靠置信度估计？
• RQ2 在数据按顺序到达的在线设置中，如何保持校准概率？
• RQ3 所提出的方法在分布外和对抗性输入上在多大程度上保持了准确度和校准性？
• RQ4 在这样的在线、对分布偏移具有鲁棒性的设置中，可以为置信度边界提供哪些理论保证？
• RQ5 在医疗诊断和问答等高风险实际应用中，这些方法的表现如何？

主要发现

• 所提出的方法即使在测试数据分布与训练数据不同时，也能实现可靠的置信度估计。
• 该方法在对抗性输入上保持了良好校准的概率，表现出对定向扰动的鲁棒性。
• 推导出形式化的置信度边界，并在长期实证频率匹配下被证明有效。
• 该方法无需单独的校准数据集即可运行，降低了数据和基础设施开销。
• 实证验证表明，该方法在实际任务中表现强劲，包括问答和基于基因组的医学诊断。
• 理论分析在温和假设下确认了收敛性和准确度保证，支持实际部署。