[论文解读] Unsupervised Cross-domain Image Classification by Distance Metric Guided Feature Alignment

Qingjie Meng, Daniel Rueckert+1 more|arXiv (Cornell University)|Aug 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用 4

一句话总结

本文提出了一种名为距离度量引导特征对齐（MetFA）的新颖无监督域自适应方法，该方法在不使用域对抗训练的情况下，学习具有判别性且域不变的特征。通过联合优化度量学习与类别分布对齐，MetFA 在跨设备胎儿超声图像分类任务中实现了最先进性能，将目标域的F1分数显著提升至0.7874，优于先前方法。

ABSTRACT

Learning deep neural networks that are generalizable across different domains remains a challenge due to the problem of domain shift. Unsupervised domain adaptation is a promising avenue which transfers knowledge from a source domain to a target domain without using any labels in the target domain. Contemporary techniques focus on extracting domain-invariant features using domain adversarial training. However, these techniques neglect to learn discriminative class boundaries in the latent representation space on a target domain and yield limited adaptation performance. To address this problem, we propose distance metric guided feature alignment (MetFA) to extract discriminative as well as domain-invariant features on both source and target domains. The proposed MetFA method explicitly and directly learns the latent representation without using domain adversarial training. Our model integrates class distribution alignment to transfer semantic knowledge from a source domain to a target domain. We evaluate the proposed method on fetal ultrasound datasets for cross-device image classification. Experimental results demonstrate that the proposed method outperforms the state-of-the-art and enables model generalization.

研究动机与目标

• 解决因图像采集设备差异导致的医学影像领域偏移问题，该问题限制了模型的泛化能力。
• 克服无监督域自适应中领域对抗训练的局限性，后者通常无法在目标域中保持判别性类别边界。
• 学习一个共享的潜在表示空间，使其在源域和目标域之间均具备域不变性与判别性。
• 通过联合类别分布与度量学习，将源域的语义知识迁移到未标注的目标域。
• 实现无需大量目标域标注数据的、可有效泛化的大型胎儿超声筛查深度学习模型。

提出的方法

• 提出距离度量引导特征对齐（MetFA），显式学习共享潜在空间，且不依赖域对抗训练。
• 结合度量学习，利用对比损失公式最小化域间类内方差并最大化类间方差。
• 采用类别分布对齐方法，对齐潜在空间中源域与目标域的预测类别分布。
• 使用固定先验分布将特征嵌入共享潜在空间，随后估计域不变原型。
• 在端到端深度学习框架中联合优化度量学习与类别分布对齐，训练数据为源域有标签与目标域无标签数据。
• 采用t-SNE可视化与混淆矩阵分析特征聚类与分类性能。

实验结果

研究问题

• RQ1 度量学习是否可在不使用域对抗训练的情况下，有效学习域不变且具有判别性的特征？
• RQ2 联合优化度量学习与类别分布对齐是否能提升无监督域自适应中的跨域泛化能力？
• RQ3 所提出的MetFA方法在跨设备胎儿超声图像分类任务中与最先进方法相比表现如何？
• RQ4 该方法在提升目标域适应性能的同时，对源域性能的保持程度如何？
• RQ5 该方法是否能在标注有限且存在显著领域偏移的真实医学影像应用中实现泛化？

主要发现

• 当设备A为源域、设备B为目标域时，UDA-MetFA-V在目标域上取得0.7874的F1分数，显著优于先前最先进方法MME（0.4565）。
• 该方法减少了相似解剖视图（如LVOT与RVOT）之间的混淆，表明其具备更优的判别性特征学习能力。
• t-SNE可视化结果证实，目标域特征与源域特征更趋对齐，且按类别更清晰分离。
• 当设备B为源域、设备A为目标域时，UDA-MetFA-V在目标域上取得0.6303的F1分数，显著优于DANN（0.3450）与MME（0.2101）。
• 该模型在源域上仍保持优异性能（F1分数为0.7101），表明域适应未降低源域性能。
• 消融实验表明，结合度量学习与类别分布对齐的完整UDA-MetFA-V模型表现最佳，验证了联合优化策略的有效性。