[论文解读] SeeThrough: Finding Chairs in Heavily Occluded Indoor Scene Images

Moos Hueting, Pradyumna Reddy+4 more|arXiv (Cornell University)|Oct 28, 2017

3D Surveying and Cultural Heritage被引用 10

一句话总结

SeeThrough 提出了一种基于3D场景上下文感知的方法，通过结合2D关键点检测与3D候选生成，并利用大规模3D场景数据库中的共现统计信息进行迭代优化，实现对单张室内RGB图像中部分遮挡椅子的检测。该方法在中度至重度遮挡下显著优于当前最先进方法，尤其在弱可见物体的召回率和精确率方面表现突出。

ABSTRACT

Discovering 3D arrangements of objects from single indoor images is important given its many applications including interior design, content creation, etc. Although heavily researched in the recent years, existing approaches break down under medium or heavy occlusion as the core object detection module starts failing in absence of directly visible cues. Instead, we take into account holistic contextual 3D information, exploiting the fact that objects in indoor scenes co-occur mostly in typical near-regular configurations. First, we use a neural network trained on real indoor annotated images to extract 2D keypoints, and feed them to a 3D candidate object generation stage. Then, we solve a global selection problem among these 3D candidates using pairwise co-occurrence statistics discovered from a large 3D scene database. We iterate the process allowing for candidates with low keypoint response to be incrementally detected based on the location of the already discovered nearby objects. Focusing on chairs, we demonstrate significant performance improvement over combinations of state-of-the-art methods, especially for scenes with moderately to severely occluded objects.

研究动机与目标

• 解决在单张室内RGB图像中检测部分遮挡椅子的挑战，因为传统目标检测方法因缺乏可见线索而失效。
• 通过利用整体3D场景级上下文先验而非仅依赖图像空间特征，提升中度至重度遮挡场景下的检测性能。
• 证明3D场景中物体的共现统计可作为恢复缺失或被遮挡物体实例的有效先验。
• 表明利用已检测物体进行迭代优化可增强对弱可见或严重遮挡物体的检测能力。
• 在新标注了部分遮挡椅子的基准数据集上验证该方法，并与最先进基线方法进行比较。

提出的方法

• 在真实室内图像上训练深度神经网络，以预测即使部分遮挡的椅子上的2D关键点。
• 将关键点提升至3D空间，以生成椅子的3D物体候选框。
• 通过大规模合成3D场景数据库提取的成对共现统计信息，进行全局选择过程，对最合理的3D物体配置进行评分与选择。
• 该流程迭代运行检测与选择阶段，使先前检测到的物体能够增强对附近响应较低（被遮挡）候选框的检测。
• 结合基于关键点的检测与场景级上下文，提升在遮挡情况下的鲁棒性，避免依赖直接的图像空间分割。
• 系统仅在真实数据上进行训练，因为合成数据导致泛化性能差，且真实数据微调优于合成数据预训练。

实验结果

研究问题

• RQ1 3D场景级共现统计能否提升单张RGB图像中部分遮挡椅子的检测性能？
• RQ2 利用已检测物体进行迭代优化，能否增强对弱可见或严重遮挡椅子的检测能力？
• RQ3 在不同遮挡水平下，所提方法与最先进方法的性能相比如何？
• RQ4 场景级上下文与3D先验在多大程度上能减少误检并提升遮挡场景下的召回率？
• RQ5 当训练数据有限或使用合成数据时，基于3D上下文与关键点检测的方法能否优于端到端学习方法？

主要发现

• 在所有IoU和角度阈值下，SeeThrough在LocAng指标上的F1分数显著高于基线方法，尤其在高遮挡情况下表现更优。
• 在中度至重度遮挡下，SeeThrough保持了高检测率，而基线方法迅速下降，展现出对遮挡的强鲁棒性。
• 消融实验表明，禁用成对共现代价会降低精确率，而禁用迭代机制会降低召回率，证明两个组件对最优性能均不可或缺。
• 完整版SeeThrough流程在IoU2D F1与LocAng F1的综合得分上均最高，优于单次迭代与无上下文的变体。
• 仅在真实数据上训练关键点网络的性能优于合成数据预训练，表明真实世界视觉模式对泛化能力至关重要。
• 该方法通过利用附近可见良好的物体提供的上下文线索，成功检测到关键点响应较低的椅子，展示了在部分可见情况下的有效推理能力。