[论文解读] Relation Preserving Triplet Mining for Stabilizing the Triplet Loss in Vehicle Re-identification.

Adhiraj Ghosh, Kuruparan Shanmugalingam+1 more|arXiv (Cornell University)|Oct 15, 2021

Video Surveillance and Tracking Methods参考文献 42被引用 4

一句话总结

本文提出关系保持三元组挖掘（RPTM），一种新颖的三元组挖掘策略，能够尊重由姿态变化引起的车辆重识别样本中的自然子群。通过保持样本间的内在关系，RPTM 稳定了三元组损失，并使单个具有固定参数的网络在三个主要基准上实现最先进性能。

ABSTRACT

Object appearances often change dramatically with pose variations. This creates a challenge for embedding schemes that seek to map instances with the same object ID to locations that are as close as possible. This issue becomes significantly heightened in complex computer vision tasks such as re-identification(re-id). In this paper, we suggest these dramatic appearance changes are indications that an object ID is composed of multiple natural groups and it is counter-productive to forcefully map instances from different groups to a common location. This leads us to introduce Relation Preserving Triplet Mining (RPTM), a feature matching guided triplet mining scheme, that ensures triplets will respect the natural sub-groupings within an object ID. We use this triplet mining mechanism to establish a pose-aware, well-conditioned triplet cost function. This allows a single network to be trained with fixed parameters across three challenging benchmarks, while still providing state-of-the-art re-identification results.

研究动机与目标

• 解决由于姿态变化导致的车辆重识别中显著外观变化的挑战。
• 识别出当存在自然子群时，强制将同一 ID 的所有实例合并到单一嵌入区域是适得其反的。
• 开发一种尊重同一 ID 内在子群划分的三元组挖掘机制，以提升嵌入质量。
• 设计一种姿态感知、条件良好的三元组损失函数，使在不同基准上使用固定参数的训练过程更加稳定。

提出的方法

• 提出关系保持三元组挖掘（RPTM），一种基于特征匹配引导的三元组挖掘方案，可识别并尊重同一物体 ID 内部的自然子群。
• 利用姿态变化引起的外观结构特征来指导三元组选择，确保正样本来自同一自然子群。
• 构建一种姿态感知的三元组损失函数，保持子群内部的相对距离，同时维持跨 ID 的判别能力。
• 使用 RPTM 引导的损失函数，在三个基准数据集上以固定超参数训练单一深度神经网络。
• 确保三元组挖掘过程避免将同一 ID 的不同子群实例拉离，从而减少嵌入坍塌。

实验结果

研究问题

• RQ1 如何改进三元组挖掘以应对车辆重识别中由姿态变化引起的显著外观变化？
• RQ2 同一车辆 ID 内的自然子群在多大程度上影响三元组损失的稳定性和性能？
• RQ3 关系保持的挖掘策略是否能实现固定网络参数下在多个基准上的更好泛化能力？
• RQ4 保持 ID 内部子群结构如何改善三元组损失函数的条件性？

主要发现

• RPTM 使单个深度网络在使用固定超参数的情况下，于三个主要车辆重识别基准上实现了最先进性能。
• 该方法通过尊重由姿态变化形成的自然子群，稳定了三元组损失，减少了嵌入坍塌。
• 通过避免将不同子群强制合并到单一嵌入区域，模型保持了更好的类内紧凑性。
• 姿态感知且关系保持的挖掘策略使损失函数具备良好条件性，能在多样化数据集上实现有效泛化。