[论文解读] Self domain adapted network

Yufan He, Aaron Carass+3 more|arXiv (Cornell University)|Jul 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用 4

一句话总结

本文提出自适应域迁移网络（SDA-Net），一种用于医学影像的快速、自监督域自适应新方法，可在推理时无需微调或访问源数据，将预训练模型适配至单个测试受试者。通过使用自编码器作为对齐度量，并在像素、特征和输出空间应用可学习适配器，SDA-Net 在视网膜层分割和 T1 到 T2 MRI 合成任务中实现显著性能提升，每位受试者仅需约 30 秒适应时间。

ABSTRACT

Domain shift is a major problem for deploying deep networks in clinical practice. Network performance drops significantly with (target) images obtained differently than its (source) training data. Due to a lack of target label data, most work has focused on unsupervised domain adaptation (UDA). Current UDA methods need both source and target data to train models which perform image translation (harmonization) or learn domain-invariant features. However, training a model for each target domain is time consuming and computationally expensive, even infeasible when target domain data are scarce or source data are unavailable due to data privacy. In this paper, we propose a novel self domain adapted network (SDA-Net) that can rapidly adapt itself to a single test subject at the testing stage, without using extra data or training a UDA model. The SDA-Net consists of three parts: adaptors, task model, and auto-encoders. The latter two are pre-trained offline on labeled source images. The task model performs tasks like synthesis, segmentation, or classification, which may suffer from the domain shift problem. At the testing stage, the adaptors are trained to transform the input test image and features to reduce the domain shift as measured by the auto-encoders, and thus perform domain adaptation. We validated our method on retinal layer segmentation from different OCT scanners and T1 to T2 synthesis with T1 from different MRI scanners and with different imaging parameters. Results show that our SDA-Net, with a single test subject and a short amount of time for self adaptation at the testing stage, can achieve significant improvements.

研究动机与目标

• 解决临床深度学习中因不同扫描仪或扫描协议导致的域偏移问题，此类问题会降低模型性能。
• 克服现有无监督域自适应（UDA）方法的局限性，后者需为每个目标域重新训练模型，并依赖目标或源数据。
• 实现在推理时对单个受试者进行快速、单样本自适应，无需额外数据或模型微调，尤其适用于数据隐私受限场景。
• 开发一种方法，在视网膜层分割和图像合成等医学影像任务中，于多样化的成像参数和扫描仪类型下保持高性能。

提出的方法

• SDA-Net 由三部分组成：预训练的任务网络（T）、用于测量域对齐的预训练自编码器（AEs），以及用于特征和图像变换的可学习适配器。
• 在推理阶段，适配器在单个目标受试者上进行训练，以最小化自编码器的重建误差，从而在像素、特征和输出空间中将目标域与源域对齐。
• 自编码器作为域对齐度量，通过测量重建误差实现——重建误差越低，表示与源域分布越接近。
• 适配器应用于多个层级：输入图像（Ax）、中间特征（Ai）和网络输出（Ao），其中仅 Ax 和 Ai 在适配过程中进行训练。
• 为简化结构并避免生成对抗网络（GAN）方法中常见的几何失真和特征幻觉，采用 1×1 卷积（消融实验中使用 3×3 卷积）。
• 训练在单个 GPU 上端到端进行，任务网络和自编码器网络保持冻结，实现约 30 秒内完成每位受试者的快速适配。

实验结果

研究问题

• RQ1 能否在不访问源数据或目标标签的前提下，于推理时快速将深度学习模型适配至单个测试受试者？
• RQ2 自编码器的重建误差能否作为医学图像自适应中有效的、可微分的域对齐度量？
• RQ3 通过在输入、特征和输出空间中使用可学习适配器最小化重建误差，是否能在低数据环境下实现优于现有 UDA 方法的性能？
• RQ4 轻量级适配器设计能否避免几何失真和特征幻觉，同时实现与复杂 GAN 方法（如 Cycle-GAN）相当的性能？

主要发现

• SDA-Net 在不同 OCT 扫描仪上的视网膜层分割任务中实现显著性能提升，在 HH 数据集上相比基线（NA）的均方误差（MSE）相对降低 16.8%。
• 在 T1 到 T2 MRI 合成任务中，SDA-Net 在 HH 数据集上的 MSE 降低至 0.168（±0.040），在 GH 数据集上为 0.233（±0.055），优于直方图匹配、风格迁移和 Cycle-GAN 基线方法。
• 合成 T2 图像的 SSIM 分数分别达到 0.693（±0.039）（HH）和 0.658（±0.043）（GH），表明其具有高感知质量，并与源域特征高度对齐。
• 该方法在每位受试者仅需约 30 秒适配时间的前提下，性能可与 Cycle-GAN 比肩，同时避免了 GAN 常见的伪影（如几何偏移和特征幻觉）。
• Ours-3×3 变体（使用 3×3 卷积核适配器）进一步提升了分割性能，表明任务特定的适配器设计可增强自适应效果。
• 适配过程快速高效——无适配时推理时间仅 5 秒，每位受试者适配时间约 30 秒，具备临床部署的实用性。