[论文解读] SSLM: Self-Supervised Learning for Medical Diagnosis from MR Video.

Siladittya Manna, Saumik Bhattacharya+1 more|arXiv (Cornell University)|Apr 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用 7

一句话总结

该论文提出SSLM，一种自监督学习框架，通过从未标注的MR视频片段中学习空间解剖表征，用于膝关节疾病诊断。通过在捕捉上下文不变特征的掩蔽任务上进行预训练，SSLM在下游、类别不平衡的多标签分类任务中表现出色，且无需任何数据重加权或过采样，展示了对少数类别的可靠性。

ABSTRACT

In medical image analysis, the cost of acquiring high-quality data and their annotation by experts is a barrier in many medical applications. Most of the techniques used are based on supervised learning framework and need a large amount of annotated data to achieve satisfactory performance. As an alternative, in this paper, we propose a self-supervised learning approach to learn the spatial anatomical representations from the frames of magnetic resonance (MR) video clips for the diagnosis of knee medical conditions. The pretext model learns meaningful spatial context-invariant representations. The downstream task in our paper is a class imbalanced multi-label classification. Different experiments show that the features learnt by the pretext model provide explainable performance in the downstream task. Moreover, the efficiency and reliability of the proposed pretext model in learning representations of minority classes without applying any strategy towards imbalance in the dataset can be seen from the results. To the best of our knowledge, this work is the first work of its kind in showing the effectiveness and reliability of self-supervised learning algorithms in class imbalanced multi-label classification tasks on MR video. The code for evaluation of the proposed work is available at this https URL

研究动机与目标

• 解决基于MRI诊断中专家标注医学影像数据成本高且稀缺的问题。
• 开发一种自监督学习方法，利用未标注的MR视频片段学习有意义的空间表征。
• 评估自监督特征在具有挑战性的、类别不平衡的多标签分类设置下用于膝关节病理诊断的有效性。
• 证明所提出方法可在不使用显式数据级平衡策略的情况下，提升少数疾病类别的性能。

提出的方法

• 该方法通过掩蔽任务从未标注的MR视频片段帧中学习空间上下文不变的表征，无需任何标注。
• 采用基于对比学习的框架，在掩蔽任务上对模型进行预训练，从而实现从无标注数据中学习特征。
• 将学习到的表征在下游多标签分类任务中进行微调，该任务具有类别分布不平衡的特点。
• 模型架构设计旨在保留帧间空间解剖结构，增强诊断相关性。
• 下游任务中未应用数据增强或类别重加权策略，以保持原始数据集不平衡结构的完整性。

实验结果

研究问题

• RQ1 从未标注的MR视频片段中进行自监督表征学习，是否能提升膝关节疾病诊断的性能？
• RQ2 在多标签、类别不平衡的分类任务中，所提出方法在少数类别上的表现如何？
• RQ3 掩蔽任务是否能有效学习到对下游诊断有用的、空间上不变的解剖特征？
• RQ4 在标注数据有限的情况下，自监督方法是否优于或至少匹配监督基线？

主要发现

• SSLM学习到的自监督特征在下游多标签分类任务中表现强劲，即使未进行任何数据级平衡。
• 该模型在预测少数类别疾病方面表现出特别高的可靠性，其表现超出在类别不平衡条件下的预期。
• 掩蔽模型成功捕捉了空间解剖上下文，从而生成可解释且具有诊断相关性的表征。
• 结果表明，自监督预训练可有效缓解医学视频分析中数据稀缺与类别不平衡带来的挑战。