[论文解读] Spatio-Temporal Representation Factorization for Video-based Person Re-Identification

Abhishek Aich, Meng Zheng+4 more|arXiv (Cornell University)|Jul 25, 2021

Video Surveillance and Tracking Methods参考文献 56被引用 5

一句话总结

该论文提出时空表征分解（STRF），一种轻量级、可插拔的3D-CNN模块，通过分解时间（静态/动态）和空间（粗粒度/细粒度）特征，提升基于视频的人重识别性能。STRF增强了判别性表征学习，在每个单元仅增加约0.15M参数的情况下，实现了MARS数据集86.1%、DukeMTMC数据集96.4%和iLIDS-VID数据集89.3%的新SOTA mAP分数。

ABSTRACT

Despite much recent progress in video-based person re-identification (re-ID), the current state-of-the-art still suffers from common real-world challenges such as appearance similarity among various people, occlusions, and frame misalignment. To alleviate these problems, we propose Spatio-Temporal Representation Factorization (STRF), a flexible new computational unit that can be used in conjunction with most existing 3D convolutional neural network architectures for re-ID. The key innovations of STRF over prior work include explicit pathways for learning discriminative temporal and spatial features, with each component further factorized to capture complementary person-specific appearance and motion information. Specifically, temporal factorization comprises two branches, one each for static features (e.g., the color of clothes) that do not change much over time, and dynamic features (e.g., walking patterns) that change over time. Further, spatial factorization also comprises two branches to learn both global (coarse segments) as well as local (finer segments) appearance features, with the local features particularly useful in cases of occlusion or spatial misalignment. These two factorization operations taken together result in a modular architecture for our parameter-wise light STRF unit that can be plugged in between any two 3D convolutional layers, resulting in an end-to-end learning framework. We empirically show that STRF improves performance of various existing baseline architectures while demonstrating new state-of-the-art results using standard person re-ID evaluation protocols on three benchmarks.

研究动机与目标

• 解决基于视频的人重识别中长期存在的挑战，包括外观相似性、遮挡和帧对齐误差。
• 克服现有3D-CNN无法显式建模时间与空间动态互补性的局限。
• 设计一种灵活且参数高效的模块，可无缝集成至任意3D-CNN主干网络，无需架构重构。
• 通过时间维度上对静态（外观）与动态（运动）成分，以及空间维度上对粗粒度与细粒度特征的分解，提升判别性特征学习能力。
• 在保持计算效率的同时，实现在多个基准上的SOTA性能。

提出的方法

• STRF作为可插拔模块插入3D卷积层之间，每个单元仅引入约0.15M可学习参数。
• 时间分解模块通过时间采样策略将特征划分为静态（低频）与动态（高频）分量。
• 空间分解模块通过空间采样与特征提取，分离粗粒度（全局）与细粒度（局部）外观特征。
• 每个分解分支使用专用3D卷积，在对应维度上学习判别性表征。
• 该模块支持端到端训练，可应用于3D-CNN的多个阶段，且在中层特征层（第2与第3阶段）表现最优。
• 采用特征聚合模块（FAM）融合来自四个分解分支（时间静态、时间动态、空间粗粒度、空间细粒度）的输出。

实验结果

研究问题

• RQ1 显式分解时间与空间特征是否能提升视频重识别中的判别性表征？
• RQ2 将时间维度上的静态（外观）与动态（运动）特征分离，是否能在遮挡与对齐误差下带来更好的泛化能力？
• RQ3 粗粒度与细粒度空间特征的联合使用是否能增强对部分遮挡与空间错位的鲁棒性？
• RQ4 STRF在3D-CNN架构中的位置如何影响性能表现？
• RQ5 轻量级、模块化设计的模块是否能在不改变网络架构的前提下实现SOTA性能？

主要发现

• 在MARS基准上，STRF实现了86.1%的新SOTA mAP，优于先前方法如AP3D（85.6%）与M3D（79.46%）。
• 在DukeMTMC上，STRF达到96.4% mAP，超越此前SOTA方法TACAN（95.40% mAP）。
• 在iLIDS-VID上，STRF实现89.3% mAP，超过此前最佳结果88.9%（由TACAN达成）。
• 消融实验表明，四个分解组件（时间静态、时间动态、空间粗粒度、空间细粒度）均独立贡献，完整STRF模块在MARS上实现86.1% mAP。
• 当STRF应用于网络第一阶段时性能下降，表明低层特征缺乏足够语义信息，难以实现有效分解。
• 在对比模型中，STRF是参数效率最高的架构，添加至I3D后总参数仅增加约1.73%，却优于参数量高达7500万以上的模型。