[论文解读] PersonNet: Person Re-identification with Deep Convolutional Neural Networks

Lin Wu, Chunhua Shen+1 more|arXiv (Cornell University)|Jan 27, 2016

Video Surveillance and Tracking Methods参考文献 2被引用 210

一句话总结

PersonNet 引入了一个非常深的 Siamese CNN，采用 3x3 过滤器和一个邻域差分层，联合学习特征与用于行人重识别的相似性度量，在多个数据集上达到最新的最优结果。

ABSTRACT

In this paper, we propose a deep end-to-end neu- ral network to simultaneously learn high-level features and a corresponding similarity metric for person re-identification. The network takes a pair of raw RGB images as input, and outputs a similarity value indicating whether the two input images depict the same person. A layer of computing neighborhood range differences across two input images is employed to capture local relationship between patches. This operation is to seek a robust feature from input images. By increasing the depth to 10 weight layers and using very small (3$ imes$3) convolution filters, our architecture achieves a remarkable improvement on the prior-art configurations. Meanwhile, an adaptive Root- Mean-Square (RMSProp) gradient decent algorithm is integrated into our architecture, which is beneficial to deep nets. Our method consistently outperforms state-of-the-art on two large datasets (CUHK03 and Market-1501), and a medium-sized data set (CUHK01).

研究动机与目标

• 推动并开发一个深度端到端网络，联合学习鲁棒特征与用于行人重识别的相似性度量。
• 通过使用小的 3x3 卷积增大网络深度，以在跨视角变换下提升判别能力。
• 引入邻域差分层，以建模局部补丁关系及相机视图之间的错位。
• 采用 RMSProp 进行自适应梯度更新，以促进深度网络的训练。
• 在多个大型重识别基准测试上展示最先进的性能。

提出的方法

• 使用一对 RGB 图像作为输入，输入到一个跨视图权重绑定的 Siamese 风格网络。
• 堆叠 3x3 卷积层并进行 max-pooling，随后是一层邻域补丁匹配层，用于计算跨视图的局部补丁差异。
• 包括一个补丁汇总层以及后续的卷积/最大池化层，最终以三层全连接层输出一个 softmax 相似性决策（同一/不同）。
• 采用一个具有 3x3 感受野的 10 层深度架构，以增加非线性和表示能力。
• 使用双曲正切激活函数和 RMSProp，而不是标准的 SGD，来训练深度网络。
• 应用对图像对的在线采样以及数据增强（平移和水平翻转）以平衡正负样本对。

实验结果

研究问题

• RQ1 更深层的 CNN 结合小尺寸 3x3 过滤器是否能在行人重识别中提高准确率，相较于先前的结构？
• RQ2 引入邻域补丁差分层是否有助于建模局部跨视图变异和错位？
• RQ3 将 RMSProp 作为训练深度网络的优化方法在重识别任务中的影响如何？
• RQ4 所提出的方法在 CUHK03、CUHK01 和 Market-1501 上相对于最新方法的表现如何？

主要发现

• PersonNet 在报道的实验中在 CUHK03、CUHK01 和 Market-1501 上实现了最好的 rank-1 准确率。
• 在 CUHK03 上，达到 64.80%（Rank-1）和高达 98.20%（Rank-20），超过先前方法。
• 在 CUHK01 上，Rank-1 为 71.14%，Rank-5 为 90.07%，Rank-10 为 95.00%，Rank-20 为 98.06%。
• 在 Market-1501 上，Rank-1 为 37.21% 且 mAP 为 18.57%。
• 收敛性研究表明，相较于 SGD，这个深度架构的 RMSProp 提供了更稳定并且更快速的收敛。