[论文解读] Self-supervised Learning of Pixel-wise Anatomical Embeddings in Radiological Images.

Ke Yan, Jinzheng Cai+8 more|arXiv (Cornell University)|Dec 4, 2020

Medical Imaging and Analysis参考文献 52被引用 14

一句话总结

本文提出自监督解剖嵌入（SAM），一种对比学习框架，可从无标注放射影像中生成像素级解剖嵌入，实现在多种扫描中快速且准确地定位身体部位。SAM在极小监督下实现了关键点检测和病灶匹配的最先进性能，推理速度比配准方法快200倍，且仅用一张标注模板图像即超越了在50张标注图像上训练的监督模型。

ABSTRACT

Radiological images such as computed tomography (CT) and X-rays render anatomy with intrinsic structures. Being able to reliably locate the same anatomical or semantic structure across varying images is a fundamental task in medical image analysis. In principle it is possible to use landmark detection or semantic segmentation for this task, but to work well these require large numbers of labeled data for each anatomical structure and sub-structure of interest. A more universal approach would discover the intrinsic structure from unlabeled images. We introduce such an approach, called Self-supervised Anatomical eMbedding (SAM). SAM generates semantic embeddings for each image pixel that describes its anatomical location or body part. To produce such embeddings, we propose a pixel-level contrastive learning framework. A coarse-to-fine strategy ensures both global and local anatomical information are encoded. Negative sample selection strategies are designed to enhance the discriminability among different body parts. Using SAM, one can label any point of interest on a template image, and then locate the same body part in other images by simple nearest neighbor searching. We demonstrate the effectiveness of SAM in multiple tasks with 2D and 3D image modalities. On a chest CT dataset with 19 landmarks, SAM outperforms widely-used registration algorithms while being 200 times faster. On two X-ray datasets, SAM, with only one labeled template image, outperforms supervised methods trained on 50 labeled images. We also apply SAM on whole-body follow-up lesion matching in CT and obtain an accuracy of 91%.

研究动机与目标

• 解决医学影像中解剖定位问题，且不依赖大规模标注数据集。
• 利用自监督表征学习从未标注的放射影像中发现内在解剖结构。
• 开发一种方法，仅使用一张标注模板图像即可实现在不同扫描间快速且准确的解剖对应。
• 提升医学影像分析任务（如关键点检测和病灶追踪）的效率与准确性。
• 在2D和3D模态（包括胸部CT和X光扫描）之间展示泛化能力。

提出的方法

• SAM采用从粗到精的特征学习策略，在像素级别编码全局和局部解剖上下文。
• 采用像素级对比学习目标，通过对比正样本对和负样本对来学习判别性嵌入。
• 负样本采样策略被专门设计，以增强不同解剖结构之间的判别能力。
• 该方法利用类似Siamese的网络架构，比较图像块并学习不变表征。
• 在无标注数据上预训练后，利用嵌入进行最近邻搜索，将模板图像的标签转移到新扫描中。
• 该框架在无标注放射影像上端到端训练，预训练阶段无需人工标注。

实验结果

研究问题

• RQ1 无任何人工标注数据的情况下，自监督对比学习能否有效学习像素级解剖嵌入？
• RQ2 在解剖关键点定位任务中，SAM与传统图像配准方法相比，在准确性和推理速度方面表现如何？
• RQ3 SAM能否在显著减少标注样本数量的情况下，达到与监督模型相当的性能？
• RQ4 SAM在不同成像模态（如2D X光和3D CT）之间泛化的程度如何？
• RQ5 SAM能否有效应用于复杂任务，如随访扫描中的全身影像病灶匹配？

主要发现

• 在包含19个关键点的胸部CT数据集上，SAM在推理速度比广泛使用的配准算法快200倍的同时，性能更优。
• 在两个X光数据集上，SAM仅使用一张标注模板图像即实现了更优性能，超越了在50张标注图像上训练的监督模型。
• 在随访CT扫描中，SAM在全身影像病灶匹配任务中达到91%的准确率，展现出对复杂临床任务的强大泛化能力。
• 从粗到精的策略有效捕捉了学习嵌入中的全局解剖上下文和细粒度结构细节。
• 负样本采样策略显著提升了不同解剖区域之间嵌入的可判别性。
• 该方法在2D和3D成像模态中均表现出稳健性能，表明其具备强大的跨模态泛化能力。