[论文解读] OTCE: A Transferability Metric for Cross-Domain Cross-Task Representations

Tan Yang, Yang Li+1 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用 4

一句话总结

该论文提出了一种名为OTCE的新颖分析性可迁移性度量方法，用于跨域、跨任务的监督分类，通过最优传输联合建模域差异和通过条件熵建模任务差异来量化可迁移性能。在DomainNet和Office31数据集上，OTCE相较于最先进方法在与真实可迁移准确率的相关性上平均提升了21%，实现了高效的源模型选择和加权多源特征融合。

ABSTRACT

Transfer learning across heterogeneous data distributions (a.k.a. domains) and distinct tasks is a more general and challenging problem than conventional transfer learning, where either domains or tasks are assumed to be the same. While neural network based feature transfer is widely used in transfer learning applications, finding the optimal transfer strategy still requires time-consuming experiments and domain knowledge. We propose a transferability metric called Optimal Transport based Conditional Entropy (OTCE), to analytically predict the transfer performance for supervised classification tasks in such cross-domain and cross-task feature transfer settings. Our OTCE score characterizes transferability as a combination of domain difference and task difference, and explicitly evaluates them from data in a unified framework. Specifically, we use optimal transport to estimate domain difference and the optimal coupling between source and target distributions, which is then used to derive the conditional entropy of the target task (task difference). Experiments on the largest cross-domain dataset DomainNet and Office31 demonstrate that OTCE shows an average of 21% gain in the correlation with the ground truth transfer accuracy compared to state-of-the-art methods. We also investigate two applications of the OTCE score including source model selection and multi-source feature fusion.

研究动机与目标

• 为解决在跨域、跨任务迁移学习中，域差异和任务差异共同降低可迁移性的问题。
• 开发一种分析性、高效且可解释的度量方法，避免昂贵的源模型微调。
• 在统一框架中联合建模域偏移和任务偏移，以提升可迁移性估计性能。
• 支持实际应用，如源模型选择和基于可迁移性分数的多源特征融合。

提出的方法

• 通过源数据和目标数据分布之间的最优传输计算的Wasserstein距离来建模域差异。
• 通过最优传输解导出的联合耦合来估计源样本和目标样本之间的关系，进而以条件熵作为任务差异的度量。
• 将可迁移性形式化为域差异与任务差异的线性组合，通过在辅助任务上使用最小二乘拟合来学习该线性模型。
• 利用学习到的线性模型，基于域差异和任务差异预测可迁移准确率，而无需重新训练。
• 对所有源模型的OTCE分数进行归一化，以生成多源特征融合的加权系数。
• 在两个应用场景中应用该度量：源模型选择和加权特征融合，实验验证在DomainNet和Office31数据集上有效。

实验结果

研究问题

• RQ1 在同时存在域差异和任务差异的跨域、跨任务迁移学习设置中，如何准确预测可迁移性？
• RQ2 在不重新训练源模型的前提下，分析性度量能否优于经验性或启发式度量，以更准确地预测可迁移性能？
• RQ3 域差异和任务差异如何共同影响可迁移性？能否在一个统一框架中对二者进行建模？
• RQ4 OTCE分数在实践中能否有效指导源模型选择和多源特征融合？

主要发现

• 在DomainNet和Office31数据集上，OTCE相较于最先进度量方法，在与真实可迁移准确率的相关性上平均提升了21%。
• 在DomainNet上，OTCE在源模型选择中优于LEEP和NCE，在所有目标域上实现了86.4%的平均准确率。
• 基于OTCE分数加权的特征融合方法始终优于平均融合和自训练基线方法，表明在目标任务上具有更好的泛化能力。
• 即使仅有少量辅助样本，利用辅助任务学习模型系数也能显著提升OTCE与实际可迁移性的相关性。
• OTCE在多种域偏移设置下均保持稳健性能，展现出超越特定数据分布的强大泛化能力。
• 通过OTCE将可迁移性分解为域差异与任务差异，为理解迁移学习动态提供了可解释的洞察。