[论文解读] Vehicle Re-ID for Surround-view Camera System

Zizhang Wu, Man Wang+4 more|arXiv (Cornell University)|Jun 30, 2020

Video Surveillance and Tracking Methods参考文献 28被引用 4

一句话总结

本文提出了一套完整的全景鱼眼相机系统车辆重识别（Re-ID）解决方案，解决了鱼眼畸变、遮挡和视角变化带来的挑战。该方法引入了一种质量评估机制以减少跟踪漂移，并采用基于注意力的特征学习与空间约束策略，在新发布的大型鱼眼Re-ID数据集上实现了实时状态最先进精度。

ABSTRACT

The vehicle re-identification (ReID) plays a critical role in the perception system of autonomous driving, which attracts more and more attention in recent years. However, to our best knowledge, there is no existing complete solution for the surround-view system mounted on the vehicle. In this paper, we argue two main challenges in above scenario: i) In single camera view, it is difficult to recognize the same vehicle from the past image frames due to the fisheye distortion, occlusion, truncation, etc. ii) In multi-camera view, the appearance of the same vehicle varies greatly from different camera's viewpoints. Thus, we present an integral vehicle Re-ID solution to address these problems. Specifically, we propose a novel quality evaluation mechanism to balance the effect of tracking box's drift and target's consistency. Besides, we take advantage of the Re-ID network based on attention mechanism, then combined with a spatial constraint strategy to further boost the performance between different cameras. The experiments demonstrate that our solution achieves state-of-the-art accuracy while being real-time in practice. Besides, we will release the code and annotated fisheye dataset for the benefit of community.

研究动机与目标

• 解决自动驾驶中全景多相机系统缺乏完整Re-ID解决方案的问题。
• 缓解单相机视角下因鱼眼畸变、遮挡和截断导致的跟踪漂移问题。
• 减少因视角差异和车辆相似性导致的跨相机外观差异。
• 通过多相机设置中的注意力机制与空间约束提升Re-ID精度。
• 发布一个大规模标注的鱼眼数据集，以推动该领域研究发展。

提出的方法

• 设计了一种质量评估机制，利用IoU和置信度分数评估检测框的可靠性，从而减少单相机跟踪中的目标漂移。
• 采用SiamRPN++进行单相机Re-ID，BDBnet用于多相机Re-ID，并引入注意力模块以聚焦于具有判别性的车辆区域。
• 提出一种新颖的空间约束策略，通过强制几何一致性来规范多相机Re-ID结果。
• 通过IoU和置信度度量实现模板更新，以提升长时间跟踪的稳定性。
• 通过延迟模板更新最多N帧来处理遮挡车辆，N=4时达到最优一致性。
• 使用SGD训练Re-ID模型，结合交叉熵损失与三元组损失，配合批量归一化与数据增强。

实验结果

研究问题

• RQ1 如何在单相机车辆Re-ID中有效缓解由鱼眼畸变和遮挡引起的跟踪漂移？
• RQ2 注意力机制在大视角变化下对车辆Re-ID特征学习的提升程度如何？
• RQ3 在多个鱼眼相机之间引入空间约束如何改善多相机Re-ID性能？
• RQ4 在处理临时遮挡与保持身份一致性之间，最优平衡点是什么？
• RQ5 一个新发布的大型鱼眼Re-ID数据集是否能显著推动该领域技术水平的提升？

主要发现

• 结合IoU与置信度度量的质量评估机制使前视相机的身份一致性（IC）从0.82提升至0.94，右视相机提升至0.97。
• 采用N=4帧处理遮挡时达到最佳平衡，减少了身份切换同时保持了跟踪稳定性。
• 注意力模块使前视相机的IC从0.84提升至0.87，与空间约束结合后提升至0.94。
• 完整系统结合注意力与空间约束后，在前视、左视和右视相机上的IC得分分别达到0.94、0.96和0.97。
• 所提方法优于基线模型，在保持实时性的同时实现了当前最优精度。
• 作者发布了包含36个序列、共22,190张图像的大规模标注鱼眼数据集，支持未来研究。