[论文解读] Unsupervised Object Discovery and Tracking in Video Collections

Suha Kwak, Minsu Cho+3 more|arXiv (Cornell University)|May 14, 2015

Video Surveillance and Tracking Methods参考文献 31被引用 15

一句话总结

该论文提出了一种无监督方法，通过联合优化对象发现（跨视频区域对应）和跟踪（视频内区域关联），在视频集合中发现并追踪主导对象。该方法在YouTube-Object数据集上优于最先进（SOTA）的共定位方法，即使没有类别标签，也能隐式学习不同视频间对象类别的拓扑关系。

ABSTRACT

This paper addresses the problem of automatically localizing dominant objects as spatio-temporal tubes in a noisy collection of videos with minimal or even no supervision. We formulate the problem as a combination of two complementary processes: discovery and tracking. The first one establishes correspondences between prominent regions across videos, and the second one associates successive similar object regions within the same video. Interestingly, our algorithm also discovers the implicit topology of frames associated with instances of the same object class across different videos, a role normally left to supervisory information in the form of class labels in conventional image and video understanding methods. Indeed, as demonstrated by our experiments, our method can handle video collections featuring multiple object classes, and substantially outperforms the state of the art in colocalization, even though it tackles a broader problem with much less supervision.

研究动机与目标

• 在未经清理的视频集合中，以最少或无监督的方式定位主导对象为时空管状结构。
• 在不依赖类别标签或人工标注的情况下，建立显著对象区域之间的跨视频对应关系。
• 通过联合优化对象发现与跟踪，提升定位精度与鲁棒性。
• 揭示跨视频对象类别之间的隐式拓扑结构，揭示相似对象类别之间的关系。
• 在完全无监督设置下解决视频共定位的更广泛挑战，性能超越监督基线。

提出的方法

• 该方法采用联合优化框架，结合跨视频区域匹配（发现）与视频内区域跟踪（跟踪）。
• 通过概率霍夫匹配执行对象发现，以在不同视频中找到相似区域，形成帧的邻域图。
• 通过起始于一个区域并终止于另一个区域的点轨迹，将同一视频中连续帧的区域连接起来。
• 时空管状结构被定义为单个视频中时序相连区域的序列，代表一个被追踪的对象。
• 该算法在改进对象定位与更新邻域结构之间交替进行，实现两者的迭代优化。
• 使用最近邻检索与拓扑推断来评估跨视频学习到的隐式类别关系。

实验结果

研究问题

• RQ1 能否通过联合优化对象发现与跟踪来提升视频集合中无监督定位的性能？
• RQ2 在无任何类别标签或监督的情况下，该方法在共定位任务上的表现如何？
• RQ3 该方法能否隐式学习不同视频间对象类别之间的拓扑关系？
• RQ4 运动信息与跨视频对应关系对定位精度有何影响？
• RQ5 在共定位性能方面，该方法与监督及弱监督方法相比表现如何？

主要发现

• 该方法在YouTube-Object数据集上的视频共定位任务中显著优于最先进方法，在完全无监督设置下达到35.5%的CorRet分数。
• 所有类别总体的Top-1错误率为51.3%，而对于外观特征鲜明的类别（如'aeroplane'）错误率更低（例如12.1%）。
• Top-2错误率为34.0%，表明对许多类别性能优异，特别是具有独特视觉特征的类别。
• 该方法成功恢复了对象类别的潜在拓扑结构，大多数类别与其自身连接最强，相似类别（如'cat'、'dog'、'cow'、'horse'）表现出部分类间连接。
• 即使缺乏运动信息，该方法仍能合理地定位对象，但性能显著下降，凸显了运动信息在鲁棒性中的关键作用。
• 该方法能很好地泛化到多种对象类别，并有效处理噪声大、未经清理的视频集合，尽管缺乏监督。