[论文解读] TICaM: A Time-of-flight In-car Cabin Monitoring Dataset

Jigyasa Katrolia, Bruno Mirbach+4 more|arXiv (Cornell University)|Mar 22, 2021

Video Surveillance and Tracking Methods参考文献 15被引用 16

一句话总结

TICaM 是一个大规模、多模态的车载舱内监控数据集，包含 6.7K 个真实和 3.3K 个合成的飞行时间（ToF）深度、RGB 和红外图像，涵盖 2D/3D 检测、实例分割和语义分割、以及行为识别的全面标注。该数据集独特地结合了真实数据与合成数据，可支持自动驾驶安全系统和人机交互系统中鲁棒训练与域适应评估。

ABSTRACT

We present TICaM, a Time-of-flight In-car Cabin Monitoring dataset for vehicle interior monitoring using a single wide-angle depth camera. Our dataset addresses the deficiencies of currently available in-car cabin datasets in terms of the ambit of labeled classes, recorded scenarios and provided annotations; all at the same time. We record an exhaustive list of actions performed while driving and provide for them multi-modal labeled images (depth, RGB and IR), with complete annotations for 2D and 3D object detection, instance and semantic segmentation as well as activity annotations for RGB frames. Additional to real recordings, we provide a synthetic dataset of in-car cabin images with same multi-modality of images and annotations, providing a unique and extremely beneficial combination of synthetic and real data for effectively training cabin monitoring systems and evaluating domain adaptation approaches. The dataset is available at https://vizta-tof.kl.dfki.de/.

研究动机与目标

• 解决现有车载舱内数据集在覆盖多样化乘员类型、真实世界场景和多模态标注方面的不足。
• 通过包含如乘客、前向/后向座椅中的儿童以及日常物品等代表性不足的场景，克服现有数据集的局限性。
• 提供一个统一的数据集，包含同步的深度、RGB 和红外数据，以支持汽车环境中多模态计算机视觉任务。
• 通过结合高质量真实数据与使用 Blender 生成的逼真合成数据，支持域适应研究。
• 通过详细的多任务标注，支持安全关键系统（如自适应安全气囊部署和驾驶员分心监测）的开发。

提出的方法

• 使用安装在后视镜附近的 Kinect Azure 拍摄真实车载舱内场景，以捕获飞行时间深度、RGB 和红外图像。
• 捕获 123K 个同步标注活动的 RGB 帧，涵盖驾驶员和乘客在 20 种不同行为类别中的行为。
• 使用 SALT 3D 标注工具手动标注真实数据，包括 2D 和 3D 检测框、实例和类别分割掩码以及行为标签。
• 使用 Blender 生成 3.3K 个合成图像，并自动生成 2D/3D 检测、分割和行为标签的真值。
• 通过校准并提供已知的外参参数，确保深度相机与 RGB 相机之间的对齐，以支持跨模态训练。
• 将真实数据划分为训练集（86K 个 RGB 帧）和测试集（37K 个 RGB 帧），仅使用合成数据进行训练以评估域适应性能。

实验结果

研究问题

• RQ1 结合真实与合成的飞行时间车载舱内监控数据集，是否能提升舱内监控系统的鲁棒性与泛化能力？
• RQ2 包含多样化场景（如乘客、后向座椅中的儿童以及常见物体）在多大程度上提升了车载监控数据集的实际应用价值？
• RQ3 合成数据在实现真实世界基于深度的舱内感知任务的域适应方面有多高效？
• RQ4 多模态标注（深度、RGB、红外、2D/3D 检测、分割、行为）是否能共同提升驾驶员状态估计与安全应用的性能？
• RQ5 在深度、RGB 和红外模态之间提供同步、多分辨率的标注，是否能降低标注成本并提升模型训练效率？

主要发现

• TICaM 提供 6.7K 个真实飞行时间深度图像和 123K 个带活动标注的 RGB 帧，涵盖 20 种不同的活动类别，包括如向左或向右转头等复杂行为。
• 数据集包含 3.3K 个合成图像，其标注格式与真实数据完全一致，可直接用于域适应技术的评估。
• 真实数据包含 4.7K 张用于 2D/3D 检测训练的图像和 2.0K 张用于测试的图像，包含完整的 3D 检测框、分割掩码和行为标签。
• 合成数据使用 Blender 生成，采用精确的相机模型和物体布局，确保其在视觉和几何上与真实数据高度一致。
• 该数据集支持多任务学习，提供深度、RGB 和红外模态之间的同步标注，支持跨模态模型训练。
• 为高反射率或暗色物体添加低反射率标志，提升了在复杂光照和材质条件下的检测鲁棒性。