[论文解读] Out-of-Distribution Detection for Skin Lesion Images with Deep Isolation Forest

Xuan Li, Yuchen Lu+2 more|arXiv (Cornell University)|Mar 20, 2020

Cutaneous Melanoma Detection and Management参考文献 18被引用 4

一句话总结

本文提出 DeepIF，一种用于皮肤病变图像的非参数分布外（OOD）检测方法，通过将预训练的深度卷积神经网络与隔离森林结合于特征表示上，实现了最先进性能，在 HAM10000 数据集上相比基于高斯分布的基线方法将 OOD 检测 AUC 提升了 20%，更好地捕捉了类内多样性。

ABSTRACT

In this paper, we study the problem of out-of-distribution detection in skin disease images. Publicly available medical datasets normally have a limited number of lesion classes (e.g. HAM10000 has 8 lesion classes). However, there exists a few thousands of clinically identified diseases. Hence, it is important if lesions not in the training data can be differentiated. Toward this goal, we propose DeepIF, a non-parametric Isolation Forest based approach combined with deep convolutional networks. We conduct comprehensive experiments to compare our DeepIF with three baseline models. Results demonstrate state-of-the-art performance of our proposed approach on the task of detecting abnormal skin lesions.

研究动机与目标

• 为解决在有限训练数据集（如 8 类 HAM10000 数据集）中难以检测未包含的皮肤病变问题，这些数据集对已知数千种皮肤疾病类型的覆盖严重不足。
• 克服类条件高斯模型在捕捉皮肤病变图像高类内变异性方面的局限性。
• 开发一种灵活的非参数 OOD 检测框架，仅需预训练的 CNN，且不假设分布外或分布内数据的特定分布形式。
• 评估不同卷积层特征表示在医学影像 OOD 检测中的有效性。

提出的方法

• 该方法使用预训练的深度卷积神经网络从皮肤病变图像中提取特征，利用训练过程中学习到的语义表示。
• 在提取的特征上应用隔离森林（IF），基于异常样本在树结构中需要更少分割次数即可隔离的原理来检测 OOD 样本。
• 与参数化方法不同，IF 不假设正常数据具有特定分布（如高斯分布），因此对皮肤病变特征中复杂的多模态分布具有更强的鲁棒性。
• 该方法应用于多个卷积层的特征（例如 f_{-1} 到 f_{-4}），以分析特征深度对 OOD 检测性能的影响。
• 通过隔离森林中路径长度的平均值计算正常性得分，得分越低表示异常可能性越高。
• 使用标准指标进行评估：AUROC、AUPR 和在多个 OOD 集（如 MEL、BCC、DF、VASC、SCC）中 TPR 达 95% 时的 TNR。

实验结果

研究问题

• RQ1 非参数异常检测方法（如隔离森林）是否能在具有高类内变异性的情况下，优于类条件高斯模型，实现对 OOD 皮肤病变的检测？
• RQ2 在预训练 CNN 中，从浅层到深层的特征层选择如何影响 OOD 检测性能？
• RQ3 与马氏距离和 VAE 基线相比，DeepIF 是否实现了对分布内与分布外样本更优的分离？
• RQ4 DeepIF 的性能增益是否在多种 OOD 类别中保持一致，包括罕见或视觉上显著不同的皮肤病变？
• RQ5 最后一层卷积层是否能为皮肤病学影像中的 OOD 检测提供最具表现力的特征表示？

主要发现

• 与基于高斯分布的马氏距离方法相比，DeepIF 在所有 OOD 集上的 OOD 检测率提升了 20%，平均 AUROC 达 0.7136。
• 该方法在分布内与 OOD 样本之间表现出更优的分离能力，如图 2 和图 3 所示，得分分布更清晰，ROC 曲线更优。
• 使用最后一层卷积层（f_{-1}）的特征在大多数病变类型中取得了最佳 OOD 检测性能，仅在 NV 类中，深层特征略有提升。
• 当使用浅层特征（f_{-2} 到 f_{-4}）时，DeepIF 的性能显著下降，凸显了语义级别表示在异常检测中的重要性。
• 对于 BCC OOD 集，DeepIF 的 AUROC 达 0.7539，显著优于马氏距离基线（0.5771）和 VAE（0.5315）。
• 在 SCC OOD 集中，DeepIF 在 TPR 达 95% 时的 TNR 为 0.2573，表明其在高召回率下仍保持了出色的特异性。