[论文解读] Video-based Person Re-identification with Accumulative Motion Context

Hao Liu, Zequn Jie+5 more|arXiv (Cornell University)|Jan 1, 2017

Video Surveillance and Tracking Methods参考文献 26被引用 13

一句话总结

本文提出了一种累积运动上下文（AMOC）网络，这是一种两流端到端深度学习框架，能够从视频序列中联合学习外观特征与运动特征，并通过循环聚合在帧间累积运动上下文。该方法在iLIDS-VID、PRID-2011和MARS数据集上实现了最先进性能，在MARS数据集上达到68.3%的rank-1准确率和52.9%的mAP，相较于之前的方法，rank-1准确率最高提升3个百分点。

ABSTRACT

Video based person re-identification plays a central role in realistic security and video surveillance. In this paper we propose a novel Accumulative Motion Context (AMOC) network for addressing this important problem, which effectively exploits the long-range motion context for robustly identifying the same person under challenging conditions. Given a video sequence of the same or different persons, the proposed AMOC network jointly learns appearance representation and motion context from a collection of adjacent frames using a two-stream convolutional architecture. Then AMOC accumulates clues from motion context by recurrent aggregation, allowing effective information flow among adjacent frames and capturing dynamic gist of the persons. The architecture of AMOC is end-to-end trainable and thus motion context can be adapted to complement appearance clues under unfavorable conditions (e.g. occlusions). Extensive experiments are conduced on three public benchmark datasets, i.e., the iLIDS-VID, PRID-2011 and MARS datasets, to investigate the performance of AMOC. The experimental results demonstrate that the proposed AMOC network outperforms state-of-the-arts for video-based re-identification significantly and confirm the advantage of exploiting long-range motion context for video based person re-identification, validating our motivation evidently.

研究动机与目标

• 为解决在视频监控中由于光照、姿态、视角和背景杂乱导致的外观显著变化所带来的人体重识别挑战。
• 通过利用超越单帧外观特征的长程运动上下文，提升识别鲁棒性。
• 开发一种可端到端训练的架构，联合学习外观与运动表征，并通过循环累积运动线索。
• 通过将运动学习直接整合到重识别流程中，克服手工设计光流和单流CNN的局限性。
• 证明随时间累积的运动上下文可增强人体重识别的判别性特征学习。

提出的方法

• AMOC网络采用两流卷积架构：一路处理RGB帧以提取外观特征，另一路处理光流以捕捉运动上下文。
• 光流通过一个与重识别网络联合训练的光流网络端到端估计，避免依赖预提取的光流。
• 通过循环神经网络（RNN）模块累积运动上下文，聚合相邻帧的运动特征以建模长程时间动态。
• 外观特征与运动特征在特征层面进行融合，并通过端到端训练联合优化，以增强判别能力。
• 模型在视频序列上进行端到端训练，无需单独的描述符提取或度量学习阶段，从而实现特征与匹配准则的联合优化。
• 训练过程中使用EpicFlow进行光流估计，确保高质量的运动监督，且无需预处理。

实验结果

研究问题

• RQ1 在具有挑战性的视觉条件下，长程运动上下文是否能显著提升视频序列中的人体重识别性能？
• RQ2 通过循环运动累积实现的外观与运动特征端到端学习，是否能比分离的特征提取与度量学习方法获得更好的泛化能力？
• RQ3 所提出的AMOC网络与依赖手工设计描述符或预提取光流的最先进方法相比表现如何？
• RQ4 运动上下文的集成在多摄像头重识别中，能在多大程度上减轻遮挡和外观变化的影响？
• RQ5 联合训练的端到端架构是否能超越将特征提取与度量学习解耦的方法？

主要发现

• 在MARS数据集上，AMOC模型达到68.3%的rank-1准确率，比之前最先进方法（IDE + XQDA）高出3个百分点。
• AMOC模型在MARS上的平均平均精度（mAP）达到52.9%，高于最佳基线方法（IDE + XQDA）的47.6%。
• 在iLIDS-VID和PRID-2011数据集上，AMOC模型表现出具有竞争力的性能，证实其在多样化基准数据集上的鲁棒性。
• 即使未使用ImageNet预训练，AMOC模型在从零开始训练的情况下，仍显著优于使用手工设计描述符（如LOMO、BoW）和度量学习方法（如XQDA、KISSME）。
• 消融实验表明，循环运动累积显著提升了性能，证明了长程运动上下文的价值。
• 光流图的可视化显示，运动网络能有效捕捉前景运动，但背景运动仍可能引入噪声，提示通过引入分割模块可进一步改进。