[论文解读] Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks.
本文提出了一种用于深度神经网络中分布外（OOD）检测的统计假设检验框架，将 OOD 检测形式化为正式的统计检验，以保证受控的假阳性率。通过利用网络激活的低阶统计量，该方法在无需微调的情况下实现了最先进水平的 OOD 检测性能，且计算成本极低。
Commonly, Deep Neural Networks (DNNs) generalize well on samples drawn from a distribution similar to that of the training set. However, DNNs' predictions are brittle and unreliable when the test samples are drawn from a dissimilar distribution. This presents a major concern for deployment in real-world applications, where such behavior may come at a great cost -- as in the case of autonomous vehicles or healthcare applications. This paper frames the Out Of Distribution (OOD) detection problem in DNN as a statistical hypothesis testing problem. Unlike previous OOD detection heuristics, our framework is guaranteed to maintain the false positive rate (detecting OOD as in-distribution) for test data. We build on this framework to suggest a novel OOD procedure based on low-order statistics. Our method achieves comparable or better than state-of-the-art results on well-accepted OOD benchmarks without retraining the network parameters -- and at a fraction of the computational cost.
研究动机与目标
- 为解决在自动驾驶和医疗等安全关键应用中，深度神经网络在分布外（OOD）数据上预测不可靠这一关键挑战。
- 克服基于启发式方法的 OOD 检测在假阳性率上缺乏统计保证的局限性。
- 开发一种在保持受控假阳性率的同时实现高性能 OOD 检测的方法。
- 设计一种计算高效的 OOD 检测流程，无需微调或重新训练神经网络。
提出的方法
- 该方法将 OOD 检测形式化为统计假设检验，其中原假设假设输入为分布内数据。
- 使用低阶统计量——特别是最后一层特征的均值和方差——作为假设检验的检验统计量。
- 将检验统计量与校准阶段中基于分布内样本经验分布推导出的阈值进行比较。
- 该方法利用中心极限定理，近似原假设下检验统计量的抽样分布。
- 预先设定显著性水平以控制假阳性率，确保统计可靠性。
- 该方法无需微调或重新训练深度神经网络，仅依赖预训练网络在推理时的统计量。
实验结果
研究问题
- RQ1能否将 OOD 检测形式化为统计假设检验，以保证受控的假阳性率？
- RQ2深度网络激活的低阶统计量能否在不重新训练的情况下提供有效且高效的 OOD 检测？
- RQ3与最先进 OOD 检测技术相比，该方法在性能和计算成本方面表现如何？
- RQ4该方法在不同数据分布和网络架构下是否保持鲁棒性？
主要发现
- 在 CIFAR-10 与 SVHN 及 Tiny ImageNet 等标准基准上，所提方法的 OOD 检测性能与最先进方法相当或更优。
- 在所有评估的数据集和网络架构中，该方法均能保证由显著性水平控制的假阳性率。
- 该方法的计算成本显著低于现有方法，仅需从预训练模型获取推理时的统计量。
- 该方法无需对深度神经网络进行重新训练或微调，从而保持了原始模型的性能和部署效率。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。