[论文解读] Panoptic Studio: A Massively Multiview System for Social Interaction Capture

Hanbyul Joo, Tomas Simon+11 more|arXiv (Cornell University)|Dec 9, 2016

Human Pose and Action Recognition被引用 16

一句话总结

本文提出了Panoptic Studio，一个大规模多视角系统，配备521台同步摄像机，可在无需标记的情况下捕捉多人在自然社交互动中的全身3D运动。通过在多个视角间融合弱监督的2D姿态检测并随时间优化轨迹，该系统实现了对多达八名人物的鲁棒、长期、抗遮挡的3D运动重建，为无标记社交互动捕捉设立了新基准。

ABSTRACT

We present an approach to capture the 3D motion of a group of people engaged in a social interaction. The core challenges in capturing social interactions are: (1) occlusion is functional and frequent; (2) subtle motion needs to be measured over a space large enough to host a social group; (3) human appearance and configuration variation is immense; and (4) attaching markers to the body may prime the nature of interactions. The Panoptic Studio is a system organized around the thesis that social interactions should be measured through the integration of perceptual analyses over a large variety of view points. We present a modularized system designed around this principle, consisting of integrated structural, hardware, and software innovations. The system takes, as input, 480 synchronized video streams of multiple people engaged in social activities, and produces, as output, the labeled time-varying 3D structure of anatomical landmarks on individuals in the space. Our algorithm is designed to fuse the "weak" perceptual processes in the large number of views by progressively generating skeletal proposals from low-level appearance cues, and a framework for temporal refinement is also presented by associating body parts to reconstructed dense 3D trajectory stream. Our system and method are the first in reconstructing full body motion of more than five people engaged in social interactions without using markers. We also empirically demonstrate the impact of the number of views in achieving this goal.

研究动机与目标

• 解决捕捉多人自然、非脚本化社交互动所面临的挑战，包括严重遮挡、大空间尺度以及人体外观和构型的高变异性。
• 在多人社交群体的3D运动捕捉中，消除对身体标记、预先设定的3D模板或个体特定假设的需求。
• 设计一种可扩展、模块化的多视角捕捉系统，通过大量多样化视角提升鲁棒性与精度。
• 生成大规模、公开共享的数据集，包含超过3小时的自然群体互动视频，附带全身3D运动标注。

提出的方法

• 系统在5.49米的球面穹顶上部署了480台VGA、31台HD和10台Kinect v2的RGB+D摄像机，从多个角度同步采集视频流。
• 在每个视角上使用弱监督2D人体姿态检测器检测身体关键点，随后通过空间投票在多视角间融合，生成初始的3D骨骼提议。
• 采用时间一致性优化框架，通过连接密集的3D轨迹流，将不同视角中的身体部位关联起来，提升一致性并减少误差。
• 通过时间一致性建模避免误差累积，实现长达10分钟以上的无漂移长期捕捉。
• 在不依赖3D模板、身体形状先验或标准姿态的前提下重建全身3D运动，使其对外观和拓扑结构变化具有鲁棒性。
• 利用空间投票与时间轨迹关联技术，解决遮挡和左右肢体混淆带来的歧义。

实验结果

研究问题

• RQ1 增加视角数量如何影响复杂社交互动中无标记3D运动捕捉的准确性和鲁棒性？
• RQ2 在无3D模板的前提下，能否有效融合大量视角中的弱监督2D姿态检测器，实现可靠的3D骨骼重建？
• RQ3 时间轨迹关联在长期、易遮挡场景中，能在多大程度上提升3D运动重建的一致性与稳定性？
• RQ4 在自然、非受控的社交环境中，该系统对具有不同体型、身材和姿势的多样化受试者表现如何？

主要发现

• 系统成功实现了在自然社交互动中对多达八名人物的无标记全身3D运动重建，且在超过10分钟的长时间序列中保持高度时间一致性。
• 实证结果表明，增加视角数量能显著提升性能，在遮挡鲁棒性和准确性方面优于分辨率更高但视角更少的系统。
• 即使在严重遮挡情况下（如幼儿完全被遮挡，或2D检测中肢体混淆），系统仍能实现鲁棒的重建。
• 系统的性能受限于底层2D姿态检测器的可靠性，尤其是在检测非常规姿势或一致区分左右肢体方面。
• 所生成的数据集包含521个视角中1.53亿个标注的姿态实例，提供了丰富、多样且时间一致的数据，可用于社交行为的训练与分析。
• 该系统支持新型应用，如训练更优的2D检测器，并将多视角方法扩展至使用2D面部关键点检测器的3D人脸重建。