[论文解读] Self-supervised Representation Learning for Ultrasound Video

Jianbo Jiao, Richard Droste+3 more|arXiv (Cornell University)|Feb 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 9被引用 6

一句话总结

该论文提出了一种用于胎儿超声视频的自监督表示学习方法，通过时间顺序校正和几何变换预测作为先验任务，无需任何人工标注即可学习到解剖结构感知的表示。该方法在下游任务（如标准切面检测和显著性预测）中表现出强大的迁移性能，优于随机初始化和基于SonoNet的初始化，与监督基线模型相比仅存在微小差距。

ABSTRACT

Recent advances in deep learning have achieved promising performance for medical image analysis, while in most cases ground-truth annotations from human experts are necessary to train the deep model. In practice, such annotations are expensive to collect and can be scarce for medical imaging applications. Therefore, there is significant interest in learning representations from unlabelled raw data. In this paper, we propose a self-supervised learning approach to learn meaningful and transferable representations from medical imaging video without any type of human annotation. We assume that in order to learn such a representation, the model should identify anatomical structures from the unlabelled data. Therefore we force the model to address anatomy-aware tasks with free supervision from the data itself. Specifically, the model is designed to correct the order of a reshuffled video clip and at the same time predict the geometric transformation applied to the video clip. Experiments on fetal ultrasound video show that the proposed approach can effectively learn meaningful and strong representations, which transfer well to downstream tasks like standard plane detection and saliency prediction.

研究动机与目标

• 解决医学超声视频分析中数据标注有限且成本高昂的挑战。
• 从原始、未标注的胎儿超声视频数据中学习有意义且可迁移的表示。
• 开发一种自监督框架，通过数据驱动的先验任务隐式促使模型学习解剖结构意识。
• 在真实世界下游任务（如标准切面检测和显著性预测）中评估所学表示的有效性。

提出的方法

• 模型在经过时间顺序打乱的视频片段上进行训练，要求其作为先验任务重建原始帧顺序。
• 第二个先验任务要求模型预测施加于视频片段的几何变换（例如旋转、缩放）。
• 采用孪生网络架构联合优化两项任务，实现联合推理并提升稳定性。
• 表示学习使用CNN主干网络，从共享编码器中提取特征以用于下游微调。
• 该方法避免依赖外部监督（如眼动追踪或彩色化），这些方法在单色超声中不适用。
• 最终表示通过在分类（标准切面检测）和回归（显著性预测）任务上进行微调来评估。

实验结果

研究问题

• RQ1 自监督表示学习能否有效捕捉未标注胎儿超声视频中的解剖结构感知特征？
• RQ2 联合学习时间顺序校正与几何变换预测是否能产生强于单任务方法的更优、更具迁移性的表示？
• RQ3 在标注数据有限的下游任务中，该方法与监督预训练（如SonoNet）和随机初始化相比表现如何？
• RQ4 各组件（顺序校正与变换预测）对最终性能的贡献程度如何？

主要发现

• 所提出的自监督方法在标准切面检测任务上取得了75.7%的平均F1分数，优于单一先验任务和基线方法。
• 在显著性预测任务中，Ours-Siam模型的CC为0.22，NSS为2.72，显著优于随机初始化（CC: 0.12，NSS: 1.47）。
• 采用孪生架构的联合学习方法相比解耦变体，降低了标准差并提升了稳定性。
• 消融实验表明，结合两项先验任务的性能优于单独使用任一任务。
• 尽管无任何人工标注，该方法性能与监督基线模型仅相差微小差距，证明了其强大的迁移能力。
• 定性结果表明，显著性预测具有一致性和准确性，Ours-Siam模型在AUC和CC等关键指标上表现相当或优于SonoNet。