[论文解读] Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian

Yongxin Yang, Timothy M. Hospedales|arXiv (Cornell University)|Jul 28, 2015

Domain Adaptation and Few-Shot Learning参考文献 24被引用 12

一句话总结

本文提出了一种针对连续参数化领域的零样本域自适应（ZSDA）方法，通过在格拉斯曼流形上使用核回归，从领域描述符预测目标领域子空间，而无需访问目标数据。该方法在所有目标上实现了平均4.75%的准确率提升，展示了通过流形值回归在未见领域间实现有效泛化的潜力。

ABSTRACT

Most visual recognition methods implicitly assume the data distribution remains unchanged from training to testing. However, in practice domain shift often exists, where real-world factors such as lighting and sensor type change between train and test, and classifiers do not generalise from source to target domains. It is impractical to train separate models for all possible situations because collecting and labelling the data is expensive. Domain adaptation algorithms aim to ameliorate domain shift, allowing a model trained on a source to perform well on a different target domain. However, even for the setting of unsupervised domain adaptation, where the target domain is unlabelled, collecting data for every possible target domain is still costly. In this paper, we propose a new domain adaptation method that has no need to access either data or labels of the target domain when it can be described by a parametrised vector and there exits several related source domains within the same parametric space. It greatly reduces the burden of data collection and annotation, and our experiments show some promising results.

研究动机与目标

• 解决传统域自适应的可扩展性限制，后者需为每个新目标领域付出高昂的数据收集成本。
• 提出一种新的问题设定——零样本域自适应（ZSDA），适用于由连续向量（如相机角度、一天中的时间）参数化的领域。
• 仅使用领域元数据实现实时推理时的模型校准，避免对目标领域数据或标签的需求。
• 开发一种流形值回归框架，基于相关源领域预测未见目标领域的子空间结构。
• 证明在格拉斯曼流形上通过核回归预测子空间，即使未观测到目标数据，也能实现有效的域对齐。

提出的方法

• 将领域偏移问题建模为流形值数据回归，其中领域描述符（如[角度, 时间]）被映射到格拉斯曼流形中的子空间。
• 使用RBF核核回归，从一组具有已知子空间和描述符的源领域中预测目标领域的子空间。
• 将每个领域的数据分布表示为低维子空间（通过PCA或类似方法），并嵌入格拉斯曼流形中。
• 应用测地线流（GFK）算法，在源分类器与预测的目标子空间之间进行域自适应。
• 使用领域描述符作为输入、对应子空间作为输出来训练回归模型，从而实现在未见领域上的零样本预测。
• 利用多个源领域学习回归函数，同时仅使用一个带标签的源领域进行最终分类。

实验结果

研究问题

• RQ1 我们能否仅凭连续的领域描述符，在不访问其数据的情况下预测未见目标领域的子空间？
• RQ2 在格拉斯曼流形上进行的核回归在预测训练期间未见领域的子空间时，泛化能力如何？
• RQ3 预测的子空间是否能实现有效的域自适应，从而在无目标标签的情况下提升分类准确率？
• RQ4 当源领域在描述符空间中与目标领域越接近时，性能如何变化？
• RQ5 该方法能否在相机角度和光照等多样化领域因素上实现泛化，即使这些因素是连续的？

主要发现

• 所提出的ZSDA方法在所有目标领域上相比无域自适应（no DA）实现了平均4.75%的准确率提升。
• 在domain_5上，方法将平均准确率从67.88%（无DA）提升至70.29%（ZSDA → GFK），使跨域性能下降减少了一半以上。
• 性能提升在距离较远的领域最为显著：例如，domain_9的准确率从46.41%提升至50.76%，提升了4.35%，且完全无需目标数据。
• 该方法在所有目标领域上均持续提升性能，增益范围为1.5%至4.35%，具体取决于领域与源域的接近程度。
• 该方法对领域描述符的变化具有鲁棒性，在描述符空间中远离任何源域的目标领域上仍表现出色。
• 该方法仅依赖元数据即可实现有效的域自适应，证明了在真实部署场景中实现即插即用模型校准的可行性。