[论文解读] The role of RGB-D benchmark datasets: an overview

Kai Berger|arXiv (Cornell University)|Oct 8, 2013

Robotics and Sensor-Based Localization参考文献 36被引用 8

一句话总结

本文全面回顾了源自微软Kinect及类似传感器的公开RGB-D基准数据集，评估其在视觉里程计、目标识别和运动追踪等计算机视觉应用中的实用性。文章指出现有数据集存在的不足，特别是缺乏同步的红外（IR）数据和高精度真实值（ground truth），并倡导建立标准化的多传感器数据集，以推动算法评估的进展与可复现性。

ABSTRACT

The advent of the Microsoft Kinect three years ago stimulated not only the computer vision community for new algorithms and setups to tackle well-known problems in the community but also sparked the launch of several new benchmark datasets to which future algorithms can be compared 019 to. This review of the literature and industry developments concludes that the current RGB-D benchmark datasets can be useful to determine the accuracy of a variety of applications of a single or multiple RGB-D sensors.

研究动机与目标

• 对计算机视觉研究中公开可用的RGB-D基准数据集进行调查与分类。
• 从数据模态、标注质量与可及性等方面评估当前基准数据集的现状。
• 识别现有数据集中未充分代表的传感器模态，特别是红外（IR）数据与高精度真实值。
• 为未来基准数据集提出改进建议，以支持更精确且可复现的算法评估。
• 支持开发稳健、可比且可扩展的RGB-D应用评估框架。

提出的方法

• 系统性地调研2010年Kinect发布以来公开发布的RGB-D数据集，涵盖学术文献与产业发布。
• 根据应用领域对数据集进行分类：视觉里程计（SLAM）、目标识别、运动追踪、人脸与手势识别、行人检测。
• 基于关键标准评估数据集：传感器类型（如Kinect、Xtion）、是否使用加速度计数据、标注类型以及真实值可用性。
• 将数据集元数据整理为对比表格（表1），并分析数据集规模与引用影响力（图2）。
• 对数据集局限性进行批判性评估，包括缺乏同步的红外（IR）数据以及高分辨率真实值（如激光扫描或双目校准）的缺失。
• 通过分析数据集内容、传感器使用情况与应用范围，识别研究空白。

实验结果

研究问题

• RQ1 在基于Kinect的计算机视觉应用中，公开可用的RGB-D基准数据集的关键特征与差异是什么？
• RQ2 当前的RGB-D数据集在多大程度上支持对视觉里程计、目标识别与运动追踪算法的准确评估？
• RQ3 当前RGB-D基准中缺失的关键数据模态（如红外流或高精度真实值）有哪些？
• RQ4 数据集规模、标注质量与可及性在多大程度上影响其在算法比较与可复现性方面的实用性？
• RQ5 为推动未来研究中RGB-D基准技术的前沿发展，需要在哪些方面进行改进？

主要发现

• Silberman等人[28]的数据集包含1,449对带标签的RGB-深度图像对，是图像数量最多的，且提供完整的MATLAB工具箱支持。
• Barbosa等人[5]提供了一个独特的数据集，包含79名个体在静态姿态与动态运动下的数据，包含详细的3D网格与骨骼拟合信息。
• Luber等人[22]提供了一个行人数据集，使用三台Kinect从多个角度捕捉行走与站立状态的个体，包含遮挡场景。
• Huynh等人[13]提出一个包含52名个体的面部数据集，涵盖九种不同条件（包括侧脸与光照变化），并配有手动标注的关键点。
• Sung等人[39]提供了四名受试者执行高级动作（如伸手、放置）的深度图与骨骼数据，并进行了细粒度的动作标注。
• 尽管数据集开发已相当充分，但目前尚无任何数据集同时提供同步的红外（IR）数据与高分辨率真实值（如激光扫描或双目校准）。