[论文解读] Secure Domain Adaptation with Multiple Sources

Serban Stan, Mohammad Rostami|arXiv (Cornell University)|Jun 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用 5

一句话总结

该论文提出了一种隐私保护的多源无监督域自适应（MUDA）方法，可在不共享原始数据的情况下，实现从多个源域到目标域的知识迁移。通过使用高斯混合模型（GMM）建模源域特征分布，并采用基于置信度的加权融合方法，该方法在基准数据集上实现了最先进性能，同时确保了跨域数据隐私，并对源域可用性变化具有鲁棒性。

ABSTRACT

Multi-source unsupervised domain adaptation (MUDA) is a framework to address the challenge of annotated data scarcity in a target domain via transferring knowledge from multiple annotated source domains. When the source domains are distributed, data privacy and security can become significant concerns and protocols may limit data sharing, yet existing MUDA methods overlook these constraints. We develop an algorithm to address MUDA when source domain data cannot be shared with the target or across the source domains. Our method is based on aligning the distributions of source and target domains indirectly via estimating the source feature embeddings and predicting over a confidence based combination of domain specific model predictions. We provide theoretical analysis to support our approach and conduct empirical experiments to demonstrate that our algorithm is effective.

研究动机与目标

• 解决多源无监督域自适应（MUDA）中的数据隐私挑战，即由于安全或监管限制，源域与目标域无法共享原始数据。
• 开发一种方法，确保源域之间以及源域与目标之间完全隐私隔离，避免集中式数据收集。
• 实现高效的分布式训练，其中每个源域在本地处理，仅共享模型权重或统计信息。
• 为所提出框架下最小化目标域误差的上界提供理论依据。
• 设计一种鲁棒的自适应机制，即使在部分源域临时不可用或新增源域时仍保持有效性。

提出的方法

• 使用高斯混合模型（GMM）对源域特征分布进行建模，以在不访问原始数据的情况下近似联合源嵌入分布。
• 最小化目标域潜在嵌入与GMM估计的源分布之间的切片Wasserstein距离（SWD），以实现间接的域对齐。
• 使用源特定分类器对目标域进行预测，并为每项预测分配置信度分数。
• 应用基于置信度的集成机制：通过每源高置信度预测所占比例导出的归一化权重，混合来自不同源模型的预测。
• 在无源域的训练范式下优化自适应过程，即在目标自适应阶段仅使用预训练的源模型或其统计摘要。
• 引入超参数λ以控制置信度阈值，用于选择可靠预测，平衡覆盖范围与准确性。

实验结果

研究问题

• RQ1 是否可以在不共享源域之间或源域与目标域之间原始数据的前提下实现多源域自适应？
• RQ2 当自适应阶段无法访问源数据时，如何实现间接的域对齐？
• RQ3 在隐私保护的MUDA设置下，基于置信度的模型融合对目标预测准确率有何影响？
• RQ4 所提出方法是否如理论所证明的那样，最小化了目标域误差的上界？
• RQ5 该方法对源域可用性变化或新源域集成的鲁棒性如何？

主要发现

• 所提方法在五个标准MUDA基准数据集（包括Office-Home、Office-31和ImageCLEF）上实现了最先进性能，同时保障了数据隐私。
• 基于置信度的预测集成显著提升准确率：置信度>0.6的预测在Office-Home上准确率超过90%，而低置信度预测（<0.2）准确率不足40%。
• 将置信度阈值λ设为0.5时，在Office-31和ImageCLEF上获得最优或近似最优性能，且在[0.2, 0.7]范围内表现出良好鲁棒性。
• UMAP可视化结果表明，自适应过程有效缩短了目标嵌入与GMM估计的源分布之间的距离，验证了理论对齐目标。
• 该方法能有效缓解域差异，多源联合性能优于单一源域自适应（SUDA）模型，尤其在源-目标域分布偏移较大时（如Caltech到Real-World）。
• 理论分析证明，该算法最小化了目标误差的上界，为所提方法提供了正式的理论依据。