[论文解读] Weakly-Supervised Localization and Classification of Proximal Femur Fractures

Amelia Jiménez-Sánchez, Anees Kazi+6 more|arXiv (Cornell University)|Sep 27, 2018

COVID-19 diagnosis using AI参考文献 15被引用 3

一句话总结

本文提出了一种弱监督深度学习框架，仅使用图像级别标签即可实现X射线图像中近端股骨骨折的联合定位与分类。通过整合空间变换器、自迁移学习和基于全局池化的定位方法，该方法在无需额外边界框标注的情况下，将分类准确率提升了最高达7%，证明了弱监督定位在分层AO骨折分类中可同时提升性能与可解释性。

ABSTRACT

In this paper, we target the problem of fracture classification from clinical X-Ray images towards an automated Computer Aided Diagnosis (CAD) system. Although primarily dealing with an image classification problem, we argue that localizing the fracture in the image is crucial to make good class predictions. Therefore, we propose and thoroughly analyze several schemes for simultaneous fracture localization and classification. We show that using an auxiliary localization task, in general, improves the classification performance. Moreover, it is possible to avoid the need for additional localization annotations thanks to recent advancements in weakly-supervised deep learning approaches. Among such approaches, we investigate and adapt Spatial Transformers (ST), Self-Transfer Learning (STL), and localization from global pooling layers. We provide a detailed quantitative and qualitative validation on a dataset of 1347 femur fractures images and report high accuracy with regard to inter-expert correlation values reported in the literature. Our investigations show that i) lesion localization improves the classification outcome, ii) weakly-supervised methods improve baseline classification without any additional cost, iii) STL guides feature activations and boost performance. We plan to make both the dataset and code available.

研究动机与目标

• 通过深度学习提升近端股骨骨折AO分类系统的分类准确率。
• 探究将骨折区域定位与全图分类相比是否能提升分类性能。
• 通过利用仅从图像级别标签推断定位的弱监督方法，减轻标注负担。
• 在医学图像分类背景下，评估并比较多种弱监督定位技术。
• 通过注意力图与定位热力图提升模型可解释性，且无需额外监督。

提出的方法

• 采用多任务学习框架，通过深度神经网络联合优化分类与定位任务。
• 使用空间变换器（ST）学习空间变换，聚焦于输入X射线中的骨折区域。
• 将自迁移学习（STL）方法适配至端到端训练中，实现定位与分类的并行、可微分联合优化。
• 探索通过全局池化层实现定位，作为专用定位头的轻量化替代方案。
• 实现基线模型（LBM），仅使用全图进行分类，作为性能参考基准。
• 采用弱监督训练方案，使分类损失的梯度反向传播以隐式学习定位，避免对边界框标注的依赖。

实验结果

研究问题

• RQ1 在近端股骨X射线中，引入弱监督定位是否能提升AO骨折分类的性能？
• RQ2 在分类准确率与定位质量方面，弱监督定位方法与全监督定位方法相比表现如何？
• RQ3 基于注意力的定位在多大程度上提升了模型的可解释性与决策透明度？
• RQ4 自注意力机制（如自迁移学习，STL）是否能引导特征学习，并在分类性能上超越标准弱监督基线？
• RQ5 在细粒度分类（6类AO系统）中，定位的影响如何，尤其是在专家间一致性较低的情况下？

主要发现

• 定位显著提升了分类性能，与全图分类相比，使用真实边界框时平均准确率提升9%。
• 弱监督方法（如自迁移学习，STL）在无需额外标注的情况下，较基线模型（LBM）提升了7%的分类准确率。
• 表现最佳的模型在定位任务上达到0.47的平均精度均值（mAP），但基于IoU的指标可能对尺度误差过于敏感。
• 采用弱监督定位的模型生成了可解释的注意力图，突出显示骨折区域，提升了临床信任度与模型透明度。
• STL在定位与分类任务上均优于其他弱监督方法，可能归因于其对定位与分类的并行、联合优化机制。
• 全监督定位模型（Sup. Loc.）性能最高，证实定位在细粒度AO分类中至关重要，尤其在6类场景下，其性能仍低于观察者间变异（66–71%）。”