[论文解读] SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection

Tiange Xiang, Zhang, Yixiao+5 more|arXiv (Cornell University)|Nov 26, 2021

Anomaly Detection Techniques and Applications参考文献 83被引用 6

一句话总结

SQUID 提出了一种新颖的无监督异常检测方法，通过利用空间感知记忆队列，学习并重建胸部X光图像中的重复解剖模式，实现深度特征修复。该方法在 ZhangLab 数据集上超越13种SOTA方法超过5个百分点的AUC，在CheXpert数据集上超越10个百分点，同时引入了合成的DigitAnatomy数据集以增强方法开发与可解释性。

ABSTRACT

Radiography imaging protocols focus on particular body regions, therefore producing images of great similarity and yielding recurrent anatomical structures across patients. To exploit this structured information, we propose the use of Space-aware Memory Queues for In-painting and Detecting anomalies from radiography images (abbreviated as SQUID). We show that SQUID can taxonomize the ingrained anatomical structures into recurrent patterns; and in the inference, it can identify anomalies (unseen/modified patterns) in the image. SQUID surpasses 13 state-of-the-art methods in unsupervised anomaly detection by at least 5 points on two chest X-ray benchmark datasets measured by the Area Under the Curve (AUC). Additionally, we have created a new dataset (DigitAnatomy), which synthesizes the spatial correlation and consistent shape in chest anatomy. We hope DigitAnatomy can prompt the development, evaluation, and interpretability of anomaly detection methods.

研究动机与目标

• 为解决在无手动标注的情况下检测放射影像中细微且罕见异常的挑战。
• 利用X光成像协议中高空间一致性和重复解剖结构的特性，以提升异常检测性能。
• 开发一种对训练过程中病灶图像部分污染具有鲁棒性的方法，降低对完全清洁数据集的依赖。
• 创建一个合成数据集DigitAnatomy，以捕捉空间相关性与一致的解剖形态，用于基准测试与可解释性分析。
• 通过将正常模式建模为动态、位置感知的特征，提升无监督异常检测的泛化能力与可靠性。

提出的方法

• SQUID 使用空间感知记忆队列，在训练过程中动态存储并从输入图像不同空间区域检索视觉模式。
• 模型通过使用记忆队列中最相似的模式，并结合空间上下文信息，实现特征级别的修复。
• 基于Gumbel-Softmax的top-K检索机制，为每个局部区域选择最相关的模式。
• 框架引入了掩码残差捷径，以在修复过程中保持结构一致性，提升重建保真度。
• 解码器记忆模块为解码器特征维护一个独立的内存库，以增强重建精度。
• 应用知识蒸馏以提升泛化能力，并使用停止梯度操作以稳定特征学习。

实验结果

研究问题

• RQ1 放射影像中的重复解剖模式是否能被有效建模并用于无任何标注的异常检测？
• RQ2 与非空间或全局记忆机制相比，记忆队列的空间感知能力在多大程度上提升了异常检测性能？
• RQ3 SQUID在训练集中存在病灶图像的情况下，能在多大程度上容忍其存在而不导致性能下降？
• RQ4 所提出的特征级别修复机制与像素级别重建相比，在检测细微解剖异常方面表现如何？
• RQ5 像DigitAnatomy这样的合成数据集是否能有效支持医学影像中无监督异常检测模型的开发与评估？

主要发现

• 在斯坦福大学的CheXpert数据集上，SQUID相较于13种近期无监督异常检测方法，AUC提升10个百分点，达到84.7%。
• 在ZhangLab数据集上，SQUID的AUC达到87.6%，超越所有13种SOTA方法至少5个百分点。
• 消融实验表明，空间感知记忆队列贡献了+10.0%的AUC，修复模块贡献了+6.7%的AUC，证实了其关键作用。
• 即使训练图像中高达50%含有疾病，模型依然保持鲁棒性，优于CutPaste和PANDA等基线方法。
• 每个记忆队列区域仅使用200个样本即可达到最佳性能；增加至500个以上样本反而导致AUC下降，表明存在过拟合现象。
• 掩码概率为95%（允许5%的特征跳过）时性能最佳，更低的掩码概率会严重降低修复质量与检测准确率。