[论文解读] PLACE: Proximity Learning of Articulation and Contact in 3D Environments

Siwei Zhang, Yan Zhang+3 more|arXiv (Cornell University)|Jan 1, 2020

Human Pose and Action Recognition参考文献 43被引用 5

一句话总结

PLACE 提出了一种基于几何的方法，通过基于点集（basis point sets）建模人体与场景之间的接近关系，实现在新场景中合成逼真的三维人体交互。它使用条件变分自编码器（cVAE）生成合理的人体-场景接触与接近关系，从而实现无需深度图、语义标签或动作标注的自然且物理上合理的身体姿态，其在感知真实感和物理合理性方面达到当前最先进水平。

ABSTRACT

High fidelity digital 3D environments have been proposed in recent years, however, it remains extremely challenging to automatically equip such environment with realistic human bodies. Existing work utilizes images, depth or semantic maps to represent the scene, and parametric human models to represent 3D bodies. While being straightforward, their generated human-scene interactions are often lack of naturalness and physical plausibility. Our key observation is that humans interact with the world through body-scene contact. To synthesize realistic human-scene interactions, it is essential to effectively represent the physical contact and proximity between the body and the world. To that end, we propose a novel interaction generation method, named PLACE (Proximity Learning of Articulation and Contact in 3D Environments), which explicitly models the proximity between the human body and the 3D scene around it. Specifically, given a set of basis points on a scene mesh, we leverage a conditional variational autoencoder to synthesize the minimum distances from the basis points to the human body surface. The generated proximal relationship exhibits which region of the scene is in contact with the person. Furthermore, based on such synthesized proximity, we are able to effectively obtain expressive 3D human bodies that interact with the 3D scene naturally. Our perceptual study shows that PLACE significantly improves the state-of-the-art method, approaching the realism of real human-scene interaction. We believe our method makes an important step towards the fully automatic synthesis of realistic 3D human bodies in 3D scenes. The code and model are available for research at https://sanweiliti.github.io/PLACE/PLACE.html.

研究动机与目标

• 解决现有三维人体-场景交互生成方法中缺乏显式物理接触与接近关系建模的问题。
• 开发一种紧凑且基于几何的、在不同人体姿态与场景结构下保持一致的人体-场景交互表示方法。
• 仅以场景网格为输入，在新三维环境中生成自然且物理上合理的三维人体网格。
• 在不依赖深度图、语义分割等额外模态的前提下，提升真实感与物理合理性，超越现有最先进方法。
• 实现无需人工干预的、高保真度的人体与三维场景自然交互合成。

提出的方法

• 采用两阶段基于点集（BPS）编码方案：首先，计算固定基点到场景网格顶点的最小距离，以表示三维场景。
• 其次，计算选定场景顶点到人体表面的最小距离，以表示人体-场景交互，显式编码接触与接近关系。
• 训练一个条件变分自编码器（cVAE），基于BPS编码的场景表示，生成人体与三维场景之间合理的接近关系。
• 采用一种新颖的优化方案，引入几何感知损失项（接触损失与碰撞损失），以优化生成的人体网格，提升物理合理性并减少相互穿透。
• 利用学习到的潜在空间进行插值，实现在新环境中的多样化且自然的人体姿态。
• 该方法仅依赖三维网格输入，避免对深度图、语义标签或动作标注的依赖。

实验结果

研究问题

• RQ1 是否可以通过纯粹基于几何的紧凑表示来提升合成三维人体交互的真实感？
• RQ2 条件变分自编码器能否有效从网格输入中生成人体与三维场景之间合理的接触与接近关系？
• RQ3 引入几何感知优化损失是否能显著提升生成人体的物理合理性与多样性？
• RQ4 所提方法是否能在不依赖深度图、语义或动作级标注的前提下实现最先进性能？
• RQ5 在感知真实感与物理一致性方面，该模型在未见场景与多样化人体姿态下的泛化能力如何？

主要发现

• PLACE 在感知自然度方面达到最先进水平，人类评估者认为其结果在真实感上显著优于先前方法。
• 在使用 AdvOptim 优化方案时，模型在 PROX 数据集上的接触得分达到 0.99，在 Replica 数据集上达到 1.00，表明具有极高的物理合理性。
• 在 PROX 上非碰撞得分达到 0.98，在 Replica 上达到 0.93，表明有效避免了相互穿透。
• 在 Replica 上，潜在空间的熵达到 2.93，表明生成的人体姿态具有高度多样性。
• 消融实验表明，接触损失（Lcontact）显著提升了接触得分，而碰撞损失（Lcoll）有助于减小聚类大小并提升物理一致性。
• 在 PROX、MP3D 和 Replica 三个数据集上，该方法在所有指标（多样性、物理合理性、感知真实感）上均优于 Li 等 [21] 和 PSI [43]。