[论文解读] Semi-supervised Medical Image Classification with Global Latent Mixing

Prashnna Gyawali, Sandesh Ghimire+3 more|arXiv (Cornell University)|May 22, 2020

AI in cancer detection参考文献 10被引用 5

一句话总结

本文提出了一种新颖的半监督医学图像分类方法，通过在输入空间和潜在空间中混合有标签与无标签数据，强制实现全局平滑性，从而提升模型的泛化能力。通过在输入空间和潜在空间中对线性插值样本进行训练（使用无标签数据的伪标签），该方法在胸部X光片和皮肤病变分类基准上取得了最先进性能，优于仅依赖局部扰动或仅输入空间混合的方法。

ABSTRACT

Computer-aided diagnosis via deep learning relies on large-scale annotated data sets, which can be costly when involving expert knowledge. Semi-supervised learning (SSL) mitigates this challenge by leveraging unlabeled data. One effective SSL approach is to regularize the local smoothness of neural functions via perturbations around single data points. In this work, we argue that regularizing the global smoothness of neural functions by filling the void in between data points can further improve SSL. We present a novel SSL approach that trains the neural network on linear mixing of labeled and unlabeled data, at both the input and latent space in order to regularize different portions of the network. We evaluated the presented model on two distinct medical image data sets for semi-supervised classification of thoracic disease and skin lesion, demonstrating its improved performance over SSL with local perturbations and SSL with global mixing but at the input space only. Our code is available at https://github.com/Prasanna1991/LatentMixing.

研究动机与目标

• 为应对专家标注医学图像数据集的高昂成本，通过提升半监督学习（SSL）性能来解决该问题。
• 克服现有SSL方法仅通过数据点周围局部平滑性正则化所导致的局限性，引入全局平滑性正则化。
• 探究潜在空间混合是否能提升医学图像分类中的SSL泛化能力。
• 证明结合输入空间与潜在空间混合在半监督医学图像分类中的有效性。

提出的方法

• 该方法在输入空间中对有标签与无标签数据样本对进行线性混合，生成插值图像及其对应的伪标签。
• 通过将输入投影到深度网络的隐藏表征中，将混合扩展到潜在空间，对有标签与无标签样本的潜在特征进行插值。
• 通过同一样本的增强视图的预测结果进行集成平均，持续更新无标签数据的伪标签。
• 模型通过结合真实标签的交叉熵损失和输入空间与潜在空间中混合样本的一致性损失进行训练。
• 该方法引入一个超参数以平衡训练过程中输入空间与潜在空间混合的贡献。
• 该方法以端到端方式应用于深度神经网络，混合操作在多个网络层上执行，以评估深度对性能的影响。

实验结果

研究问题

• RQ1 通过潜在空间混合实现的全局平滑性正则化是否能超越基于局部扰动的方法，在半监督医学图像分类中取得更好性能？
• RQ2 结合输入空间与潜在空间混合是否优于仅在任一空间中混合？
• RQ3 在潜在空间中应用混合的层次深度如何影响医学图像SSL中的模型泛化能力？
• RQ4 潜在空间混合在多大程度上改善了模型校准性和决策边界平滑性？

主要发现

• 所提方法在所有评估设置中均取得最佳性能，优于基于局部平滑性的SSL方法（如添加噪声或增强的自集成）以及仅使用输入空间Mixup的方法，在Chexpert和皮肤病变数据集上表现更优。
• 在Chexpert数据集上，使用300张有标签图像时，输入与潜在空间混合方法的宏F1得分达到0.6747 ± 0.23，优于仅输入空间Mixup（0.6736 ± 0.17）和基于噪声的自集成方法（0.6508 ± 0.13）。
• 在皮肤病变数据集上，输入与潜在空间混合方法在所有评估情形中均取得最高性能，表现出一致的优越性。
• 消融研究显示，若将所提数据增强策略替换为简单的高斯噪声，性能显著下降，表明特定增强策略的重要性。
• 在更深网络层（如晚期激活特征）进行混合的性能优于在早期层或仅在输入空间中混合，表明高层特征对全局平滑性正则化更有效。
• 可靠性图显示，与仅输入空间混合相比，潜在空间混合在模型校准方面有轻微改善，表明其具有更好的置信度估计能力。