[论文解读] Self-Supervised Learning for Spinal MRIs

Amir Jamaludin, Timor Kadir+1 more|arXiv (Cornell University)|Aug 1, 2017

Medical Imaging and Analysis参考文献 10被引用 15

一句话总结

该论文提出了一种基于纵向扫描对作为免费监督信号的自监督预训练方法，用于脊柱MRI图像。通过对比损失和椎体水平分类，训练一个孪生卷积神经网络来区分同一样本与不同样本的扫描图像。该方法在仅使用少量标注样本的情况下，实现了优于从零开始训练的椎间盘退行性变分级性能，接近在完全标注数据集上预训练的模型性能。

ABSTRACT

A significant proportion of patients scanned in a clinical setting have follow-up scans. We show in this work that such longitudinal scans alone can be used as a form of 'free' self-supervision for training a deep network. We demonstrate this self-supervised learning for the case of T2-weighted sagittal lumbar Magnetic Resonance Images (MRIs). A Siamese convolutional neural network (CNN) is trained using two losses: (i) a contrastive loss on whether the scan is of the same person (i.e. longitudinal) or not, together with (ii) a classification loss on predicting the level of vertebral bodies. The performance of this pre-trained network is then assessed on a grading classification task. We experiment on a dataset of 1016 subjects, 423 possessing follow-up scans, with the end goal of learning the disc degeneration radiological gradings attached to the intervertebral discs. We show that the performance of the pre-trained CNN on the supervised classification task is (i) superior to that of a network trained from scratch; and (ii) requires far fewer annotated training samples to reach an equivalent performance to that of the network trained from scratch.

研究动机与目标

• 利用免费获取的纵向MRI扫描，对脊柱影像中的深度网络进行自监督预训练。
• 通过利用同一样本的内在扫描关系（即同一样本）作为监督信号，减少对昂贵且由专家标注的数据的依赖。
• 通过从自监督模型迁移特征，在极少量标注数据下提升椎间盘退行性变分级的性能。
• 评估在椎体上进行自监督是否能泛化到椎间盘分类任务。
• 比较纵向自监督与从零开始训练及在完全标注数据集上迁移学习的有效性。

提出的方法

• 在T2加权矢状位腰椎MRI切片对上训练孪生卷积神经网络，使用对比损失使同一样本扫描的嵌入距离接近，不同样本扫描的嵌入距离远离。
• 网络与分类头联合训练，以预测椎体水平（T12至S1），增加依赖数据的自监督信号。
• 提取并预处理输入体积：椎体（224×224×9）和椎间盘（112×224×9），进行强度归一化和零填充。
• 对比损失定义为 𝒟 = Σ(y)d² + (1−y)max(0, m−d)²，其中d为两个椎体1024维嵌入的L2距离，y=1表示同一样本对，y=0表示不同样本对。
• 预训练完成后，将卷积权重迁移至新的分类器网络用于椎间盘退行性变分级，仅微调全连接层。
• 在200名受试者的测试集上评估性能，比较预训练模型与从零开始训练及ImageNet/完全标注数据迁移学习的结果。

实验结果

研究问题

• RQ1 能否将纵向MRI扫描用作脊柱影像中深度网络自监督预训练的免费监督信号来源？
• RQ2 在同一样本扫描对上进行预训练是否能提升椎间盘退行性变分级的下游分类性能？
• RQ3 自监督预训练的性能与从零开始训练及在完全标注数据集上迁移学习相比如何？
• RQ4 对椎体的自监督在多大程度上能泛化到椎间盘分类任务？
• RQ5 自监督预训练能否显著减少达到同等性能所需的标注训练样本数量？

主要发现

• 仅使用667张扫描图像，自监督预训练模型在椎间盘退行性变分级任务中达到74.4%的准确率，与从零开始训练使用976张扫描图像的模型（准确率为74.7%）相当。
• 在低数据量条件下，纵向预训练带来的性能增益显著，达到同等性能所需标注样本远少于从零开始训练。
• 从完全标注数据集（包括椎间盘分类）上预训练的CNN进行迁移学习，准确率至少高出从零开始训练2.5%，可作为性能上限参考。
• 尽管孪生网络在椎体上进行训练，但迁移的特征在椎间盘分类任务中表现出色，优于从零开始训练。
• 自监督模型在976张扫描图像时性能未出现平台期，表明在更多数据下仍有进一步提升空间，说明该方法具有数据效率高且可扩展的潜力。
• 该方法利用临床数据中常规存在的纵向扫描信息，提供了一种免费且可扩展的预训练策略。