[论文解读] Unsupervised Domain Adaptation for Spatio-Temporal Action Localization

Nakul Agarwal, Yi‐Ting Chen+2 more|arXiv (Cornell University)|Oct 19, 2020

Human Pose and Action Recognition参考文献 22被引用 4

一句话总结

本文提出了一种用于时空动作定位的端到端无监督域自适应框架，通过在图像级和实例级联合适应空间和时间特征，减少了域偏移。通过在Faster R-CNN上集成三个对抗性自适应模块——图像级的时间和空间特征对齐，以及实例级的时间特征对齐，该方法在UCF-Sports、UCF-101和JHMDB数据集上实现了显著的性能提升，尤其在存在视觉和时间差异的跨域设置下表现突出。

ABSTRACT

Spatio-temporal action localization is an important problem in computer vision that involves detecting where and when activities occur, and therefore requires modeling of both spatial and temporal features. This problem is typically formulated in the context of supervised learning, where the learned classifiers operate on the premise that both training and test data are sampled from the same underlying distribution. However, this assumption does not hold when there is a significant domain shift, leading to poor generalization performance on the test data. To address this, we focus on the hard and novel task of generalizing training models to test samples without access to any labels from the latter for spatio-temporal action localization by proposing an end-to-end unsupervised domain adaptation algorithm. We extend the state-of-the-art object detection framework to localize and classify actions. In order to minimize the domain shift, three domain adaptation modules at image level (temporal and spatial) and instance level (temporal) are designed and integrated. We design a new experimental setup and evaluate the proposed method and different adaptation modules on the UCF-Sports, UCF-101 and JHMDB benchmark datasets. We show that significant performance gain can be achieved when spatial and temporal features are adapted separately, or jointly for the most effective results.

研究动机与目标

• 解决由于训练数据与测试数据之间存在域偏移，导致时空动作定位泛化能力差的问题。
• 开发一种新颖的无监督域自适应框架用于动作定位，其中目标域无任何标签可用。
• 设计并集成多个域自适应模块，以跨域联合对齐空间和时间特征。
• 建立一种新的实验设置，用于评估时空动作定位中的域自适应，因为现有基准缺乏此类评估协议。
• 证明空间和时间特征的独立与联合自适应可显著提升在域偏移条件下的定位性能。

提出的方法

• 扩展Faster R-CNN框架，使用I3D主干网络进行视频特征提取，以支持时空动作定位。
• 引入三个域自适应模块：(1) 图像级时间特征对齐，(2) 实例级时间特征对齐，以及(3) 图像级空间特征对齐。
• 使用带有域分类器的对抗性训练，以在图像和实例两级学习域不变特征。
• 端到端训练自适应模块与检测头，实现定位与域对齐的联合优化。
• 在图像级时间自适应中利用全局场景上下文，在实例级自适应中利用动作/主体动态信息，以提升特征泛化能力。
• 设计一种新的评估协议，采用跨数据集自适应（如UCF-101 → JHMDB）以验证在域偏移条件下的性能表现。

实验结果

研究问题

• RQ1 在无目标域标注的情况下，无监督域自适应是否能有效减少时空动作定位中的域偏移？
• RQ2 图像级与实例级时间特征对齐在提升定位性能方面有何差异？
• RQ3 空间特征对齐在减少定位误差和提升提议质量方面有何贡献？
• RQ4 联合自适应空间和时间特征是否优于单独自适应？
• RQ5 数据集之间的视觉和时间差异（如UCF-101与JHMDB）如何影响模型泛化能力？域自适应能否缓解此类影响？

主要发现

• 所提方法在UCF-Sports、UCF-101和JHMDB数据集的无监督域自适应设置下实现了显著的性能提升，mAP较基线模型有明显提高。
• 空间与时间特征的联合自适应表现最佳，显著优于单独自适应模块，尤其在视觉和时间域偏移较高的情况下。
• 实例级时间自适应减少了误定位和错误分类错误，表明其提升了动作动态建模能力。
• 图像级空间自适应通过提升区域提议网络（RPN）质量，显著减少了误定位错误，直接增强了定位精度。
• 在top-1000检测结果的误差分析中，集成全部三个自适应模块的模型实现了最多的正确检测数和最低的误定位率。
• 尽管在大规模训练数据（如UCF-101）上进行训练，基线模型在JHMDB上的表现仍较差，凸显了域偏移的影响，尤其是Walk和Basketball类别；而域自适应显著缩小了这一差距。