[论文解读] Putting Humans in a Scene: Learning Affordance in 3D Indoor Environments

Xueting Li, Sifei Liu+4 more|arXiv (Cornell University)|Mar 13, 2019

Human Pose and Action Recognition参考文献 31被引用 4

一句话总结

该论文提出了一种用于室内场景中3D人体可及性预测的两阶段框架，结合了完全自动化的3D姿态合成器（融合电视节目中的2D姿态分布与体素化场景的3D几何约束）和一个生成模型，后者可从单张RGB/RGB-D图像中预测语义上合理且物理上可行的3D人体姿态。该方法实现了最先进性能，其几何分数相比先前工作提高了27.6%。

ABSTRACT

Affordance modeling plays an important role in visual understanding. In this paper, we aim to predict affordances of 3D indoor scenes, specifically what human poses are afforded by a given indoor environment, such as sitting on a chair or standing on the floor. In order to predict valid affordances and learn possible 3D human poses in indoor scenes, we need to understand the semantic and geometric structure of a scene as well as its potential interactions with a human. To learn such a model, a large-scale dataset of 3D indoor affordances is required. In this work, we build a fully automatic 3D pose synthesizer that fuses semantic knowledge from a large number of 2D poses extracted from TV shows as well as 3D geometric knowledge from voxel representations of indoor scenes. With the data created by the synthesizer, we introduce a 3D pose generative model to predict semantically plausible and physically feasible human poses within a given scene (provided as a single RGB, RGB-D, or depth image). We demonstrate that our human affordance prediction method consistently outperforms existing state-of-the-art methods.

研究动机与目标

• 解决室内场景中用于可及性学习的大规模、物理上可行的3D人体姿态标注数据不足的问题。
• 克服基于2D的方法在人体-场景交互中无法强制实现3D几何合理性的局限。
• 开发一种完全自动化的3D姿态合成器，利用2D姿态中的语义知识与3D体素化场景的几何约束。
• 训练一个端到端的生成模型，联合预测基于单张场景图像的合理3D姿态位置与外观。
• 基于合成的、物理上有效的3D人体姿态，在SUNCG数据集上建立3D可及性预测的新基准。

提出的方法

• 通过使用相机参数和3D几何信息，将Sitcom数据集中2D人体姿态转移到SUNCG中的3D体素化场景，构建完全自动化的3D姿态合成器。
• 通过碰撞检测与支撑检测对合成的3D姿态进行优化，以确保物理可行性，消除姿态重叠并保证身体支撑的合理性。
• 提出一种双流生成模型，其中'位置'模块预测骨盆关节位置，'外观'模块基于位置条件生成完整的3D姿态外观。
• 模型使用可微分的几何感知判别器，即使输入为单张RGB图像，也能强制实现3D物理一致性。
• 将姿态分布分解为位置与外观两部分，以骨盆位置作为两模块之间的可微分桥梁。
• 通过结合感知损失、几何损失与对抗损失，端到端训练该框架，以提升生成姿态的真实感与物理合理性。

实验结果

研究问题

• RQ1 能否通过融合2D姿态分布与3D场景几何，利用完全自动化的3D姿态合成器生成大规模、物理上可行的人体姿态？
• RQ2 如何使生成模型能够从单张RGB或RGB-D图像中预测语义合理且几何上有效的3D人体姿态？
• RQ3 与仅基于2D的基线方法相比，引入3D几何推理在多大程度上提升了预测人体姿态的物理可行性？
• RQ4 模型能否从单张2D图像中“幻觉”生成深度与3D结构，从而在不同深度生成上下文合理的姿态？
• RQ5 几何感知监督对生成3D人体姿态的真实感与正确性有何影响？

主要发现

• 在使用RGB-D输入时，该方法在'外观'模块上实现了78.43%的几何分数，相比基线方法的56.29%提升了27.6%。
• 仅使用RGB输入时，该模型仍比基线高出6.66%的几何分数，表明其具备从2D图像中强大地“幻觉”出3D几何结构的能力。
• 当深度从d-0.5插值到d+0.5时，模型成功生成了尺度与动作（如站立到就坐）均变化的姿态，展示了深度感知的姿态生成能力。
• 用户研究与训练的真伪分类器均表明，生成的姿态比先前方法更具真实感与物理合理性。
• 失败案例显示，错误主要源于语义错位（如坐在橱柜上）或几何违规（如发生碰撞），表明从2D输入进行3D推理仍具挑战。
• 几何感知判别器显著提升了物理合理性，当使用RGB输入时，若无该模块，几何分数下降了4.59%。