[论文解读] YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video

Esteban Real, Jonathon Shlens+3 more|arXiv (Cornell University)|Feb 2, 2017

Domain Adaptation and Few-Shot Learning参考文献 37被引用 46

一句话总结

本文介绍了YouTube-BoundingBoxes（YT-BB）数据集，这是一个大规模、高精度的视频数据集，包含约380,000段时长约19秒的视频片段，每段视频在1 fps下均密集标注了边界框和类别标签。通过采用精度逐步提升的人工标注者级联流程，该数据集实现了超过95%的标注准确率，并为视频目标检测任务提供了强大的基线模型，证明了时间建模相比单帧方法能显著提升性能。

ABSTRACT

We introduce a new large-scale data set of video URLs with densely-sampled object bounding box annotations called YouTube-BoundingBoxes (YT-BB). The data set consists of approximately 380,000 video segments about 19s long, automatically selected to feature objects in natural settings without editing or post-processing, with a recording quality often akin to that of a hand-held cell phone camera. The objects represent a subset of the MS COCO label set. All video segments were human-annotated with high-precision classification labels and bounding boxes at 1 frame per second. The use of a cascade of increasingly precise human annotations ensures a label accuracy above 95% for every class and tight bounding boxes. Finally, we train and evaluate well-known deep network architectures and report baseline figures for per-frame classification and localization to provide a point of comparison for future work. We also demonstrate how the temporal contiguity of video can potentially be used to improve such inferences. Please see the PDF file to find the URL to download the data. We hope the availability of such large curated corpus will spur new advances in video object detection and tracking.

研究动机与目标

• 创建一个大规模、多样化且高精度的视频数据集，用于自然视频场景下的目标检测。
• 通过使用从YouTube中精心筛选、极少编辑的视频集合，解决弱标签视频数据的局限性。
• 通过多阶段、级联式标注流程逐步提升精度，从而提高标注质量。
• 利用深度学习模型，为视频目标检测与定位提供强有力的基线模型。
• 为未来研究利用视频中的时间连贯性以提升检测与跟踪性能提供支持。

提出的方法

• 通过挖掘在自然、未经编辑场景中呈现物体的YouTube视频构建数据集，避免后期处理或相机稳定化处理。
• 为确保视角、光照和运动的多样性，筛选视频以最小化典型或理想化的视角。
• 采用四阶段标注级联流程：首先由众包标注者进行初步标注，随后由专家标注者逐轮进行更精确的修正。
• 边界框紧密贴合可见物体部分，通过严格的质量控制确保各类别的标注准确率超过95%。
• 明确标注无目标帧（即无物体存在），以提升模型泛化能力并减少误报。
• 在YT-BB和COCO数据集上训练并评估基线模型，应用时间建模以评估视频上下文带来的性能提升。

实验结果

研究问题

• RQ1 与静态图像基线相比，是否可以通过大规模、高精度标注的视频数据集提升视频目标检测模型的性能？
• RQ2 多阶段标注级联流程在视频数据集中的应用，如何影响标注准确率与标注效率？
• RQ3 视频序列中的时间信息在多大程度上能超越单帧推理，提升目标检测与分类性能？
• RQ4 自然视频中物体的运动特性是什么？这些特性如何影响检测与跟踪性能？
• RQ5 如何利用困难负样本——即在相邻帧中物体可见但当前帧中不存在的帧——来提升模型鲁棒性？

主要发现

• YouTube-BoundingBoxes数据集包含约380,000个视频片段，每段约19秒，共包含560万个边界框和950万个分类标注。
• 通过四阶段精度逐步提升的标注级联流程，该数据集在全部23个类别上实现了超过95%的标注准确率。
• 数据集中物体表现出显著运动，以帧内相对坐标计算，人物、狗和火车的平均帧间位移分别为0.122、0.165和0.072。
• 在YT-BB上训练的基线模型在应用时间建模后性能得到提升，表明视频上下文可显著增强检测与分类性能，超越单帧预测。
• 该数据集包含困难负样本——即在相邻帧中物体可见但当前帧中不存在的帧——为模型训练与评估提供了宝贵资源。
• 通过迭代式精炼，标注流程显著降低了错误率，专家标注者在复杂情况（如遮挡和部分视图）下表现出高度一致性和精确性。