[论文解读] Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking

Alan Lukežič, Ziga Trojer+2 more|arXiv (Cornell University)|Oct 7, 2022

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出了 Trans2k，这是首个用于透明物体追踪的大规模训练数据集，包含超过 2,000 个视频序列，共 104,343 幅图像，并附有详细标注。通过利用现代渲染器生成具有多样化视觉属性的逼真透明物体序列，作者在 TOTB 基准测试中证明，多种深度学习追踪器的性能实现了稳定的 16% 提升，表明当在特定领域数据上进行训练时，深度主干网络优于浅层网络。

ABSTRACT

Visual object tracking has focused predominantly on opaque objects, while transparent object tracking received very little attention. Motivated by the uniqueness of transparent objects in that their appearance is directly affected by the background, the first dedicated evaluation dataset has emerged recently. We contribute to this effort by proposing the first transparent object tracking training dataset Trans2k that consists of over 2k sequences with 104,343 images overall, annotated by bounding boxes and segmentation masks. Noting that transparent objects can be realistically rendered by modern renderers, we quantify domain-specific attributes and render the dataset containing visual attributes and tracking situations not covered in the existing object training datasets. We observe a consistent performance boost (up to 16%) across a diverse set of modern tracking architectures when trained using Trans2k, and show insights not previously possible due to the lack of appropriate training sets. The dataset and the rendering engine will be publicly released to unlock the power of modern learning-based trackers and foster new designs in transparent object tracking.

研究动机与目标

• 为解决透明物体追踪缺乏专用、高质量训练数据集的问题，该问题阻碍了基于深度学习方法的进展。
• 探究在透明物体追踪中观察到的深度主干网络性能不佳是否源于领域偏移，还是其固有的架构限制。
• 开发一种渲染流程，以生成多样化、逼真的透明物体序列，并对视觉属性和追踪挑战实现精确控制。
• 验证在特定领域数据上进行训练是否能使深度追踪器在透明物体上超越浅层网络，从而逆转先前的研究发现。
• 发布 Trans2k 数据集及可自定义的渲染引擎，以促进未来在透明物体追踪领域的研究。

提出的方法

• 设计了一种专门的协议，以识别在现有数据集中代表性不足的、与透明物体相关的独特视觉属性和追踪场景。
• 使用渲染引擎生成超过 2,000 个视频序列，对透明度、反光性、背景交互作用及物体运动实现精确控制。
• 该数据集包含所有序列的边界框和实例分割标注，最大限度减少标注偏差。
• 评估了多种训练设置：仅使用 Trans2k、仅使用不透明物体数据（OTD）、联合使用 Trans2k+OTD，以及从零开始训练。
• 在这些设置下对最先进的深度追踪器（DiMP 和 SiamBAN）进行微调，并在 TOTB 基准上进行评估。
• 通过分析不同网络架构、主干网络和训练策略下的性能，隔离出特定领域数据的影响。

实验结果

研究问题

• RQ1 与使用通用不透明物体数据集相比，在透明物体专用数据集上训练深度学习追踪器是否能提升性能？
• RQ2 在透明物体上报告的深度主干网络性能不佳，是由于缺乏合适的训练数据，还是其固有的架构限制所致？
• RQ3 能否通过逼真且可调控视觉属性的透明物体渲染，在追踪基准测试中实现显著的性能提升？
• RQ4 实现鲁棒透明物体追踪的最佳训练策略是什么——仅使用透明数据、仅使用不透明数据，还是两者结合？
• RQ5 哪些网络架构（如变换器）在结合特定领域数据后，对未来的透明物体追踪最具潜力？

主要发现

• 仅在 Trans2k 上训练深度追踪器，即可在 TOTB 基准上实现 16% 的性能提升，证明了该数据集的有效性。
• 当在 Trans2k 上训练时，深度主干网络在透明物体追踪任务上表现优于浅层主干网络，这与先前将性能不佳归因于架构限制的研究发现相矛盾。
• 将 Trans2k 与不透明物体训练数据（OTD）结合使用可获得最佳性能，DiMP 在 TOTB 上达到 0.699，SiamBAN 达到 0.680。
• 在 ImageNet 上预训练并在 Trans2k 上微调，相比从零开始训练，性能显著提升，尤其对参数量较大的模型（如 SiamBAN）更为明显。
• 变换器架构展现出最大潜力，表明未来改进应聚焦于建模透明物体中复杂的视觉动态。
• 该数据集提升了模型的泛化能力，对不透明物体追踪任务的性能仅出现轻微下降，表明其具有强大的可迁移性。