[论文解读] Three-Stream Convolutional Networks for Video-based Person Re-Identification

Yu Zeng, Tianrui Li+4 more|arXiv (Cornell University)|Nov 22, 2017

Video Surveillance and Tracking Methods参考文献 19被引用 3

一句话总结

本文提出三流卷积网络（TSCN），一种多流架构，通过在三个流中采用不同的池化策略（最大池化、平均池化和步长为2的卷积）来学习互补特征，从而提升基于视频的人重识别性能。通过融合这些流并结合多尺度与上采样策略，TSCN在iLIDS-VID、PRID-2011和MARS数据集上实现了最先进性能，其rank-5准确率相比之前模型最高提升2.6%。

ABSTRACT

This paper aims to develop a new architecture that can make full use of the feature maps of convolutional networks. To this end, we study a number of methods for video-based person re-identification and make the following findings: 1) Max-pooling only focuses on the maximum value of a receptive field, wasting a lot of information. 2) Networks with different streams even including the one with the worst performance work better than networks with same streams, where each one has the best performance alone. 3) A full connection layer at the end of convolutional networks is not necessary. Based on these studies, we propose a new convolutional architecture termed Three-Stream Convolutional Networks (TSCN). It first uses different streams to learn different aspects of feature maps for attentive spatio-temporal fusion of video, and then merges them together to study some union features. To further utilize the feature maps, two architectures are designed by using the strategies of multi-scale and upsampling. Comparative experiments on iLIDS-VID, PRID-2011 and MARS datasets illustrate that the proposed architectures are significantly better for feature extraction than the state-of-the-art models.

研究动机与目标

• 解决基于视频的人重识别网络中最大池化和全连接层的局限性。
• 探究具有不同特征学习策略的多流架构是否优于单流模型。
• 研究多尺度与上采样技术在重用和增强学习特征图方面的有效性。
• 设计一种网络架构，充分利用特征图而不依赖最终的全连接层。
• 在标准视频重识别基准上实现最先进性能。

提出的方法

• TSCN架构采用三个并行流，每个流应用不同的特征提取策略：最大池化、平均池化和2步长卷积，以捕捉特征图的不同方面。
• 三个流的输出被拼接并融合，以学习结合互补特征的联合表示。
• 通过整合多尺度特征提取和上采样技术，提出了两种改进变体——Multi-TSCN和Multi-Two-SCN，以提升特征重用能力。
• 网络避免使用最终的全连接层，转而依赖全局平均池化和分类头实现端到端训练。
• 使用光流特征作为输入以捕捉时间运动信息，并与RGB帧结合实现时空建模。
• 在iLIDS-VID、PRID-2011和MARS数据集上，采用标准重识别协议进行端到端训练。

实验结果

研究问题

• RQ1 与单流模型相比，使用具有不同池化策略的多流是否能提升基于视频的人重识别中的特征表示？
• RQ2 多尺度与上采样策略是否能增强学习特征图的重用并提升性能？
• RQ3 在该任务中，网络末端是否必须使用全连接层才能实现最佳性能？
• RQ4 三流架构是否能在准确率和鲁棒性方面超越单流和两流模型？
• RQ5 不同流组合与融合策略如何影响在多样化数据集上的最终重识别准确率？

主要发现

• 所提出的TSCN模型在iLIDS-VID数据集上达到66.5%的rank-1准确率，在PRID-2011数据集上达到79.2%，优于所有先前的最先进方法，包括使用相同光流算法的AMOC。
• Multi-TSCN变体在iLIDS-VID数据集上达到67.5%的rank-1准确率，在PRID-2011数据集上达到78.8%，表明多尺度与上采样策略带来了进一步提升。
• 在MARS数据集上，TSCN模型达到45.6%的rank-1准确率，超过RNN-CNN（40.0%）和ASTPN（44.0%），证实其在大规模基准上的鲁棒性。
• 与最佳单流基线相比，三流架构使iLIDS-VID数据集上的rank-5准确率提升2.6个百分点，表明各流之间具有显著的互补性。
• 消融实验证实，全连接层并非必需，因为全局平均池化在参数量更少的情况下仍能取得更优性能。
• 该模型在具有不同挑战的数据集上表现稳定，表明其具备强大的泛化能力与高效的特征利用能力。