[论文解读] Semi-Automated Annotation of Discrete States in Large Video Datasets

Lex Fridman, Bryan Reimer|arXiv (Cornell University)|Dec 1, 2016

Gaze Tracking and Assistive Technology被引用 2

一句话总结

本文提出了一种半自动化的框架，用于使用隐马尔可夫模型（HMM）对大规模视频数据集中的离散状态进行标注，该模型用于建模对象行为和基于图像的噪声状态观测。通过将标注重点从逐帧标注转移至检测状态转换，该方法在1600万帧的驾驶员注视数据集上实现了99.1%准确率下13倍的标注工作量减少，以及91.2%准确率下84倍的减少。

ABSTRACT

We propose a framework for semi-automated annotation of video frames where the video is of an object that at any point in time can be labeled as being in one of a finite number of discrete states. A Hidden Markov Model (HMM) is used to model (1) the behavior of the underlying object and (2) the noisy observation of its state through an image processing algorithm. The key insight of this approach is that the annotation of frame-by-frame video can be reduced from a problem of labeling every single image to a problem of detecting a transition between states of the underlying objected being recording on video. The performance of the framework is evaluated on a driver gaze classification dataset composed of 16,000,000 images that were fully annotated over 6,000 hours of direct manual annotation labor. On this dataset, we achieve a 13x reduction in manual annotation for an average accuracy of 99.1% and a 84x reduction for an average accuracy of 91.2%.

研究动机与目标

• 降低大规模离散对象状态视频数据集中人工视频标注的高昂人力成本。
• 解决视频序列中基于图像的状态检测存在噪声的挑战。
• 开发一种可扩展的框架，在最小化人工标注的同时保持高准确率。
• 在包含大量人工标注的真实世界大规模视频数据集上评估该方法。

提出的方法

• 使用隐马尔可夫模型（HMM）对对象潜在状态转换以及来自图像处理算法的噪声观测进行建模。
• 该框架将标注视为转换检测问题，而非逐帧标注，从而显著减少人工工作量。
• 通过HMM推理识别状态转换，从噪声视觉观测中估计最可能的隐藏状态序列。
• 系统利用视频的时间结构，在图像处理结果不完美时仍能提高状态预测的准确性。
• HMM在包含1600万帧和6000小时人工标注的大规模驾驶员注视数据集上进行训练和验证。
• 该方法通过仅在状态转换处需要人工输入，而非每帧都标注，实现了半自动标注。

实验结果

研究问题

• RQ1 半自动化的框架能否在具有离散状态的大规模视频数据集中减少人工标注工作量？
• RQ2 HMM在建模视频中噪声视觉观测和潜在状态转换方面的有效性如何？
• RQ3 在采用基于转换的标注方式时，最小人工标注下可达到的准确率水平是什么？
• RQ4 该方法在真实世界视频数据中，其标注工作量减少与准确率的可扩展性如何？
• RQ5 该框架能否在将标注时间减少数个数量级的同时保持高准确率？

主要发现

• 该框架在1600万帧的驾驶员注视数据集上实现了13倍的人工标注工作量减少，同时保持平均99.1%的准确率。
• 当准确率阈值略低至91.2%时，该方法实现了84倍的人工标注工作量减少。
• 该方法将标注工作量从6000小时减少至约460小时（准确率99.1%），以及约71小时（准确率91.2%）。
• HMM有效建模了潜在的对象行为和基于图像处理的噪声观测，从而实现了鲁棒的状态推断。
• 基于转换的标注策略被证明极为有效，因为仅在状态变化时才需要人工输入，而非每帧都标注。
• 结果表明，使用HMM的半自动标注在具有离散状态的大规模视频数据集中是可行且高度高效的。