[论文解读] Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference

Vo Nguyen Le Duy, Shogo Iwazaki+1 more|arXiv (Cornell University)|Oct 5, 2020

Machine Learning and Data Classification参考文献 34被引用 6

一句话总结

本文提出了一种新颖的条件选择性推断（SI）框架，通过计算精确的非渐近p值，量化基于深度神经网络（DNN）的图像分割结果的统计显著性。利用同伦方法处理DNN中的复杂选择事件，该方法在保持高统计效能的同时控制了假阳性率（FPR），从而为医学影像等高风险应用提供了可靠的推断能力。

ABSTRACT

Although a vast body of literature relates to image segmentation methods that use deep neural networks (DNNs), less attention has been paid to assessing the statistical reliability of segmentation results. In this study, we interpret the segmentation results as hypotheses driven by DNN (called DNN-driven hypotheses) and propose a method by which to quantify the reliability of these hypotheses within a statistical hypothesis testing framework. Specifically, we consider a statistical hypothesis test for the difference between the object and background regions. This problem is challenging, as the difference would be falsely large because of the adaptation of the DNN to the data. To overcome this difficulty, we introduce a conditional selective inference (SI) framework -- a new statistical inference framework for data-driven hypotheses that has recently received considerable attention -- to compute exact (non-asymptotic) valid p-values for the segmentation results. To use the conditional SI framework for DNN-based segmentation, we develop a new SI algorithm based on the homotopy method, which enables us to derive the exact (non-asymptotic) sampling distribution of DNN-driven hypothesis. We conduct experiments on both synthetic and real-world datasets, through which we offer evidence that our proposed method can successfully control the false positive rate, has good performance in terms of computational efficiency, and provides good results when applied to medical image data.

研究动机与目标

• 为解决DNN基图像分割中缺乏统计可靠性评估的问题，特别是在医学诊断等高风险应用中的问题。
• 解决统计推断中的“双重使用”问题，即数据既用于分割又用于假设检验。
• 为DNN驱动的分割假设开发一种有效且非渐近的统计推断框架。
• 在由深度神经网络引起的复杂、数据驱动的选择事件下，实现分割结果的精确p值计算。
• 在真实世界和合成的分割任务中确保假阳性率（FPR）的控制。

提出的方法

• 提出一种条件选择性推断（SI）框架，将统计推断条件化于分割选择事件，从而实现精确抽样分布的推导。
• 开发一种新颖的同伦方法，以高效计算DNN的选择事件，处理ReLU、卷积和最大池化等分段线性操作。
• 将DNN的选择事件表征为数据空间中的一组线性不等式，从而通过条件抽样分布实现精确推断。
• 沿检验统计量方向应用同伦方法，追踪神经元的活动集合，避免对所有组合进行指数级枚举。
• 利用检验统计量的精确条件分布计算有效的p值，其对模型复杂性和选择偏差具有鲁棒性。
• 将该方法应用于标准CNN，并证明其在卷积、最大池化和ReLU等常见操作中的适用性。

实验结果

研究问题

• RQ1 选择性推断能否有效应用于基于DNN的图像分割，以量化分割结果的统计显著性？
• RQ2 如何为由复杂深度神经网络选择出的假设计算精确的非渐近p值？
• RQ3 所提出的基于同伦的选择性推断方法是否在图像分割任务中保持了有效的第一类错误控制（FPR）？
• RQ4 与朴素p值和置换检验相比，该方法在统计效能和计算效率方面表现如何？
• RQ5 该方法能否扩展至处理真实世界分割数据，同时保持统计有效性？

主要发现

• 所提出的方法在多种分布（包括拉普拉斯分布、偏正态分布和t分布）下，成功将假阳性率（FPR）控制在名义水平（α = 0.05 和 α = 0.1）以内。
• 同伦方法的真正阳性率（TPR）高于过度条件化基线，表明其具有更高的统计效能。
• 即使在使用数据估计协方差矩阵的情况下，该方法仍能保持FPR控制，显示出对模型假设的鲁棒性。
• 在脑肿瘤数据集中，所提出方法的FPR为0.057，显著低于置换检验的不可靠结果0.640。
• 朴素p值无法区分真阳性与假阳性检测，而选择性p值则正确识别了两者。
• 同伦方法的计算效率几乎随数据维度呈线性增长，避免了对激活模式进行完整枚举的指数级成本。