[论文解读] OIMNet++: Prototypical Normalization and Localization-aware Learning for Person Search

Sanghoon Lee, Youngmin Oh+3 more|arXiv (Cornell University)|Jul 21, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

OIMNet++ 提出两项关键改进以提升行人重识别性能：ProtoNorm，一种原型归一化层，通过利用身份原型校准特征分布来缓解类别不平衡问题；以及 LOIM 损失，一种定位感知的学习方案，可在特征学习过程中优先考虑高精度的提议框。这两项组件显著提升了标准基准上的性能，通过增强类间可分性和判别性特征学习，实现了最先进（SOTA）的结果。

ABSTRACT

We address the task of person search, that is, localizing and re-identifying query persons from a set of raw scene images. Recent approaches are typically built upon OIMNet, a pioneer work on person search, that learns joint person representations for performing both detection and person re-identification (reID) tasks. To obtain the representations, they extract features from pedestrian proposals, and then project them on a unit hypersphere with L2 normalization. These methods also incorporate all positive proposals, that sufficiently overlap with the ground truth, equally to learn person representations for reID. We have found that 1) the L2 normalization without considering feature distributions degenerates the discriminative power of person representations, and 2) positive proposals often also depict background clutter and person overlaps, which could encode noisy features to person representations. In this paper, we introduce OIMNet++ that addresses the aforementioned limitations. To this end, we introduce a novel normalization layer, dubbed ProtoNorm, that calibrates features from pedestrian proposals, while considering a long-tail distribution of person IDs, enabling L2 normalized person representations to be discriminative. We also propose a localization-aware feature learning scheme that encourages better-aligned proposals to contribute more in learning discriminative representations. Experimental results and analysis on standard person search benchmarks demonstrate the effectiveness of OIMNet++.

研究动机与目标

• 解决 L2 归一化在行人重识别中的局限性，即当特征未以零为中心或方差不相等时，其判别能力会下降。
• 克服 BatchNorm 在长尾行人 ID 分布中的偏差，即主导 ID 会扭曲特征标准化过程。
• 通过引入行人提议框的定位精度，改进特征学习，因为并非所有提议框对重识别都同样可靠。
• 通过显式建模 ID 原型的类别分布，增强 L2 归一化特征的类间可分性。
• 构建一个更鲁棒且更具判别性的表示学习框架，联合优化检测与重识别任务。

提出的方法

• 提出 ProtoNorm，一种归一化层，其通道均值与方差基于 ID 原型计算，而非小批量统计量，从而实现无类别偏见的特征标准化。
• 利用 ID 原型——通过每个 ID 特征的指数移动平均学习得到——在 L2 归一化前校准特征分布，从而在长尾数据下提升判别能力。
• 提出 LOIM 损失，其通过基于动量的指数移动平均更新查找表（LUT），但将更新权重按每个提议框的定位精度（IoU）进行调整。
• 将 LOIM 损失与 ProtoNorm 联合使用，以同时优化特征标准化与提议框感知的表示学习。
• 结合 LUT 基于的 OIM 损失，同时使用 ProtoNorm 和 LOIM 损失，利用原型特征的监督信号优化特征嵌入。
• 采用端到端训练方式，使用标准的检测与重识别目标函数，其中 ProtoNorm 和 LOIM 作为特征学习流程中的核心组件。

实验结果

研究问题

• RQ1 是否可以通过考虑长尾类别分布的特征标准化，提升 L2 归一化行人表示的判别能力？
• RQ2 在特征学习过程中引入行人提议框的定位精度，是否能带来更鲁棒且更具判别性的表示？
• RQ3 ProtoNorm 在缓解主导行人 ID 带来的特征校准偏差方面，与 BatchNorm 相比表现如何？
• RQ4 LOIM 损失通过优先选择对齐更好的提议框而非对齐较差的提议框，能在多大程度上提升表示质量？
• RQ5 ProtoNorm 与 LOIM 损失的结合是否能在标准行人重识别基准上实现最先进性能？

主要发现

• 与 BatchNorm 相比，ProtoNorm 在 LUT 中不同 ID 特征之间的平均余弦相似度更低，表明即使训练轮数更少，其类间可分性也更强。
• LOIM 损失通过在 LUT 更新过程中优先考虑高 IoU 提议框，显著提升了性能，从而生成更具判别性的特征。
• 联合使用 ProtoNorm 与 LOIM 损失可获得最佳性能，二者在类间可分性与定位感知学习方面表现出明显的互补效应。
• 在 PRW 数据集上，OIMNet++ 达到 78.9% 的 mAP，显著优于之前的 SOTA 方法。
• 在 CUHK-SYSU 数据集上，OIMNet++ 达到 89.1% 的 mAP，展现出在多样化监控场景下的强鲁棒性。
• 定性结果表明，OIMNet++ 更好地捕捉了细微的判别性线索（如眼镜、发型），并对遮挡和行人重叠更具鲁棒性。