[论文解读] Video Unsupervised Domain Adaptation with Deep Learning: A Comprehensive Survey

Yuecong Xu, Haozhi Cao+4 more|arXiv (Cornell University)|Nov 17, 2022

Domain Adaptation and Few-Shot Learning参考文献 216被引用 9

一句话总结

本篇全面综述回顾了基于深度学习的视频无监督域自适应（VUDA）方法，以应对由于域偏移导致的真实视频应用中性能下降的问题。该综述将VUDA方法分类为对抗性、差异性基、语义性基、复合型和重建型方法，并识别出多模态特征学习、自监督学习以及实际部署场景中的关键挑战与未来方向。

ABSTRACT

Video analysis tasks such as action recognition have received increasing research interest with growing applications in fields such as smart healthcare, thanks to the introduction of large-scale datasets and deep learning-based representations. However, video models trained on existing datasets suffer from significant performance degradation when deployed directly to real-world applications due to domain shifts between the training public video datasets (source video domains) and real-world videos (target video domains). Further, with the high cost of video annotation, it is more practical to use unlabeled videos for training. To tackle performance degradation and address concerns in high video annotation cost uniformly, the video unsupervised domain adaptation (VUDA) is introduced to adapt video models from the labeled source domain to the unlabeled target domain by alleviating video domain shift, improving the generalizability and portability of video models. This paper surveys recent progress in VUDA with deep learning. We begin with the motivation of VUDA, followed by its definition, and recent progress of methods for both closed-set VUDA and VUDA under different scenarios, and current benchmark datasets for VUDA research. Eventually, future directions are provided to promote further VUDA research. The repository of this survey is provided at https://github.com/xuyu0010/awesome-video-domain-adaptation.

研究动机与目标

• 解决视频模型从公开数据集（源域）部署到真实应用（目标域）时，由于域偏移导致的性能下降问题。
• 通过在无监督域自适应（UDA）框架中利用未标注的目标域数据，减少对昂贵视频标注的依赖。
• 在封闭集与非封闭集场景下，系统性地回顾VUDA方法，包括多样的方法类别与基准数据集。
• 识别未来VUDA研究在多模态特征对齐、有效特征提取与自监督学习方面的关键挑战。
• 通过阐明实际应用场景与方法改进，为未来研究提供指导，以提升视频模型在真实环境中的可部署性。

提出的方法

• 将VUDA方法分为五类：对抗性方法（使用域判别器学习域不变特征）、差异性基方法（通过MMD、CORAL、MDD最小化域差异）、语义性基方法（使用伪标签、对比学习或聚类）、复合型方法（结合多种目标函数）和重建型方法（使用类似自编码器的结构进行特征学习）。
• 回顾封闭集VUDA，其中源域与目标域共享相同的标签空间，且在训练期间均可访问两个域。
• 分析非封闭集VUDA场景，包括开放集、部分集和零样本域自适应，这些场景更贴近真实部署环境。
• 探讨多模态输入（如RGB、光流、音频、骨骼数据、深度、红外和LiDAR）的使用，指出当前VUDA方法对这些模态的利用仍不足。
• 讨论先进特征提取器（如Transformer和图神经网络GNN）在提升特征质量、促进更好域对齐方面的作用。
• 探索自监督技术，特别是结合自然语言监督（如视频标签）的对比学习，以在无目标标注的情况下增强跨域语义对齐。

实验结果

研究问题

• RQ1 在不同域偏移条件下，各类VUDA方法（对抗性、差异性基、语义性基、复合型、重建型）在视频任务中的表现如何？
• RQ2 在实用性与模型泛化能力方面，封闭集与非封闭集VUDA场景之间的关键差异与权衡是什么？
• RQ3 与单模态方法相比，多模态视频特征（如RGB、光流、骨骼、深度）在多大程度上能提升域自适应性能？
• RQ4 在缺乏目标标签的情况下，自监督学习技术（尤其是结合文本或语义线索的对比学习）如何增强特征对齐？
• RQ5 当前VUDA研究的主要局限与开放挑战是什么，特别是在传感器多样性、特征质量与实际适用性方面？

主要发现

• 对抗性方法与语义性方法在学习域不变特征方面表现优异，尤其当结合对比学习或伪标签技术时。
• 差异性基方法（如MMD与CORAL）在最小化分布差异方面有效，但在处理复杂、高维的视频特征时可能表现受限。
• 复合型方法通过结合多种目标函数（如对抗损失、度量损失与对比损失），在平衡域对齐与语义一致性方面常达到最先进性能。
• 使用自编码器结构的重建型方法在学习解耦的、域不变的表示方面展现出潜力，尤其当结合注意力机制时。
• 当前VUDA方法在非封闭集场景（如开放集、部分集）中表现欠佳，表明需要更鲁棒且灵活的自适应框架。
• 利用骨骼数据、深度或红外传感器等多模态输入可显著提升对域偏移的鲁棒性，但这些模态在现有VUDA框架中仍被严重低估。