[论文解读] Towards Continuous Domain adaptation for Healthcare

Rahul Venkataramani, Hariharan Ravishankar+1 more|arXiv (Cornell University)|Dec 4, 2018

Machine Learning in Healthcare参考文献 9被引用 5

一句话总结

该论文提出 ContextNets，一种用于医学图像分割中连续领域自适应的内存增强神经网络框架，仅需少量标注的目标图像即可实现特定于机构的适应。通过利用来自相似病例支持集的上下文嵌入来条件化推理，该方法在无需微调或访问源域数据的情况下，在多样化队列中实现了胸部X光肺部分割的最先进性能。

ABSTRACT

Deep learning algorithms have demonstrated tremendous success on challenging medical imaging problems. However, post-deployment, these algorithms are susceptible to data distribution variations owing to \emph{limited data issues} and \emph{diversity} in medical images. In this paper, we propose \emph{ContextNets}, a generic memory-augmented neural network framework for semantic segmentation to achieve continuous domain adaptation without the necessity of retraining. Unlike existing methods which require access to entire source and target domain images, our algorithm can adapt to a target domain with a few similar images. We condition the inference on any new input with features computed on its support set of images (and masks, if available) through contextual embeddings to achieve site-specific adaptation. We demonstrate state-of-the-art domain adaptation performance on the X-ray lung segmentation problem from three independent cohorts that differ in disease type, gender, contrast and intensity variations.

研究动机与目标

• 解决由于成像设备、协议和患者人口统计学差异导致的临床深度学习中的领域偏移问题。
• 克服现有领域自适应方法需要微调、访问源域数据或大规模目标数据集的局限性。
• 实现在临床环境中最小标注成本的终身、增量式适应。
• 提供一种保护隐私的解决方案，避免存储或访问源域数据。
• 为语义分割中的监督与无监督领域自适应提供统一框架。

提出的方法

• 为每个目标领域 $d$ 引入一个记忆模块 $\mathcal{M}^d$，用于存储先前观察到的病例的图像特征和上下文特征。
• 通过映射函数从输入图像计算查询特征 $q$ 和上下文特征 $c_i$，以检索语义上相似的病例。
• 使用查询特征检索 $T$ 个最近邻，形成支持集 $C(I_k)$，用于动态适应。
• 从支持集的上下文特征中生成一个上下文向量 $C_v(I_k)$，以条件化推理。
• 通过逐元素乘法将上下文向量 $C_v(I_k)$ 嵌入编码器的特征图中，生成上下文嵌入 $C_e[I_k] = E[I_k] \circledast C_v[I_k]$。
• 在上下文嵌入上使用标准解码器生成最终的分割预测，并通过二元交叉熵损失进行优化。

实验结果

研究问题

• RQ1 内存增强神经网络是否仅使用少量标注的目标图像即可在医学图像分割中实现有效的领域自适应？
• RQ2 与标准微调或迁移学习相比，来自相似病例的上下文嵌入在领域偏移下如何提升分割性能？
• RQ3 所提出的方法是否能在不访问源域数据的情况下超越最先进无监督领域自适应方法？
• RQ4 该方法在具有不同疾病类型、对比度和强度变化的多样化临床队列中具有多大程度的泛化能力？
• RQ5 当记忆大小受限于少量样本时，该方法的鲁棒性如何？

主要发现

• 在 JSRT 数据集上，ContextNet$_2$ 相较于 NoDA 基线实现了 7% 的性能提升，证明了其强大的领域自适应能力。
• 尽管 SeUDA 方法需要访问源域数据并为每个机构训练 GAN，ContextNet$_2$ 仍优于其最先进性能。
• 在具有挑战性的尘肺病数据集上，ContextNet$_2$ 的 Dice 分数接近不切实际的 TransferLearnt 上限，表明在无需微调的情况下实现了近乎最优的性能。
• 仅使用 50 个记忆条目，ContextNet$_2$ 在 JSRT 数据集上仍保持约 0.96 的 Dice 分数，显示出对记忆大小限制的鲁棒性。
• 可视化结果证实，与基线 U-Net 相比，ContextNet$_2$ 生成了更平滑、更准确的分割掩码，尤其在因乳腺组织或晚期疾病导致结构变化的情况下表现更优。