[论文解读] Temporal Context Matters: Enhancing Single Image Prediction with Disease Progression Representations

Aishik Konwer, Xuan Xu+3 more|arXiv (Cornell University)|Mar 2, 2022

Colorectal Cancer Screening and Detection被引用 4

一句话总结

该论文提出了一种新颖的深度学习框架，通过利用有限的时间医学影像数据，提升了单张图像的临床结局预测性能。该方法采用基于自注意力机制的时间卷积网络（TCN）建模疾病进展，并利用视觉Transformer提取快照特征，通过最大均值差异（MMD）损失对表示进行再校准与对齐，从而在胸部X光片和骨关节炎X光片数据集上实现了最先进性能。

ABSTRACT

Clinical outcome or severity prediction from medical images has largely focused on learning representations from single-timepoint or snapshot scans. It has been shown that disease progression can be better characterized by temporal imaging. We therefore hypothesized that outcome predictions can be improved by utilizing the disease progression information from sequential images. We present a deep learning approach that leverages temporal progression information to improve clinical outcome predictions from single-timepoint images. In our method, a self-attention based Temporal Convolutional Network (TCN) is used to learn a representation that is most reflective of the disease trajectory. Meanwhile, a Vision Transformer is pretrained in a self-supervised fashion to extract features from single-timepoint images. The key contribution is to design a recalibration module that employs maximum mean discrepancy loss (MMD) to align distributions of the above two contextual representations. We train our system to predict clinical outcomes and severity grades from single-timepoint images. Experiments on chest and osteoarthritis radiography datasets demonstrate that our approach outperforms other state-of-the-art techniques.

研究动机与目标

• 通过整合有限的时间影像数据，提升从单时间点医学影像进行临床结局预测的性能。
• 利用分层自注意力时间卷积网络（TCN）从连续扫描中建模疾病进展轨迹。
• 对齐来自快照影像与时间序列影像模态的特征分布，以提升预测性能。
• 提出一种基于最大均值差异（MMD）损失的再校准机制，弥合快照表示与基于进展的表示之间的领域差异。
• 在真实世界数据集上验证该方法在死亡率与骨关节炎严重程度预测中的有效性。

提出的方法

• 采用基于自注意力机制的时间卷积网络（TCN），从连续影像中学习疾病进展的最优表示。
• 在单时间点影像上以自监督方式预训练视觉Transformer（ViT），以提取高层特征。
• 引入一个再校准模块，利用最大均值差异（MMD）损失，将快照特征的分布与最优时间表示对齐。
• 端到端微调该框架，利用MMD作为特征级匹配目标，从单张图像预测临床结局与严重程度等级。
• TCN中的分层自注意力机制可实现对疾病演变过程中关键过渡阶段的动态选择。
• 该方法集成了序数损失用于等级分类，并在胸部X光片与骨关节炎X光片数据集上进行了评估。

实验结果

研究问题

• RQ1 有限的时间影像数据是否能提升从单时间点医学影像进行临床结局预测的性能？
• RQ2 如何从稀疏的连续扫描中有效建模疾病进展模式？
• RQ3 从单张图像与时间序列中对齐特征表示的最优方式是什么？
• RQ4 在该医学影像场景中，基于MMD的特征对齐是否优于其他分布匹配技术？
• RQ5 TCN架构中的注意力机制是否能提升对临床相关进展阶段的选择能力？

主要发现

• 在OAI骨关节炎数据集上，该方法相较于之前的最先进模型（SE模块）AUC绝对提升5.8%。
• 在骨关节炎严重程度分级任务中，模型的Cohen’s Kappa达到0.73，为所有对比方法中的最高值，表明与真实标签具有强一致性。
• 在SnapCXR数据集上，与无时间建模的基线相比，该方法在通气预测任务中AUC提升12.8%，在死亡率预测任务中AUC提升10.12%。
• 消融实验表明，使用MMD损失使骨关节炎严重程度预测的AUC提升了5.4%，优于KL散度与巴氏距离损失。
• TCN中的分层自注意力机制相比全局注意力略优，表明其具备更优的上下文建模能力。
• MMD损失在λ=0.5时达到性能饱和，表明即使时间对齐的贡献较小，也能显著提升预测性能。