[论文解读] Recovering and Simulating Pedestrians in the Wild

Ze Yang, Siva Manivasagam+4 more|arXiv (Cornell University)|Nov 16, 2020

Human Pose and Action Recognition参考文献 39被引用 6

一句话总结

本文提出LiME方法，无需真实3D扫描或姿态标注，即可从真实世界的LiDAR和相机序列中恢复3D行人形状与运动。通过结合深度学习与基于形状先验、重投影一致性及LiDAR射线投射的能量最小化方法，该方法生成逼真的行人资产用于LiDAR仿真，减少对真实标注数据的需求，并通过数据增强将行人检测性能提升最高达3个AP点。

ABSTRACT

Sensor simulation is a key component for testing the performance of self-driving vehicles and for data augmentation to better train perception systems. Typical approaches rely on artists to create both 3D assets and their animations to generate a new scenario. This, however, does not scale. In contrast, we propose to recover the shape and motion of pedestrians from sensor readings captured in the wild by a self-driving car driving around. Towards this goal, we formulate the problem as energy minimization in a deep structured model that exploits human shape priors, reprojection consistency with 2D poses extracted from images, and a ray-caster that encourages the reconstructed mesh to agree with the LiDAR readings. Importantly, we do not require any ground-truth 3D scans or 3D pose annotations. We then incorporate the reconstructed pedestrian assets bank in a realistic LiDAR simulation system by performing motion retargeting, and show that the simulated LiDAR data can be used to significantly reduce the amount of annotated real-world data required for visual perception tasks.

研究动机与目标

• 解决自动驾驶感知训练与测试中缺乏可扩展、逼真行人仿真的问题。
• 从非结构化的真实传感器数据（LiDAR与相机）中恢复准确的3D行人形状与运动，而无需依赖真实3D扫描或姿态标注。
• 生成多样化的模拟行人资产库，可用于LiDAR仿真系统，以减少领域差距与数据标注成本。
• 通过测试感知模型评估模拟LiDAR数据的真实性，并通过数据增强展示性能提升。

提出的方法

• 将行人重建建模为能量最小化问题，采用结合形状先验、2D关键点重投影与LiDAR射线投射一致性的深度结构化模型。
• 使用单个低成本艺术家创建的网格作为形状先验，引导野外多样化行人几何结构的重建。
• 利用相机图像中的多视角2D姿态估计，并强制执行重投影一致性，以提高3D姿态精度。
• 应用射线投射器，确保重建的3D网格与观测到的LiDAR点云对齐，提升几何保真度。
• 对重建的行人执行动作重定向，生成新颖且多样的行为与在模拟城市场景中的位置。
• 将重建的资产集成到LiDARsim仿真系统中，生成具有最小sim2real领域差距的真实感LiDAR点云。

实验结果

研究问题

• RQ1 能否在无真实3D标注的情况下，从非结构化的现实世界LiDAR与相机序列中准确恢复3D行人形状与运动？
• RQ2 学习得到的形状先验结合多模态传感器一致性，能否生成适用于仿真的逼真行人网格？
• RQ3 从恢复的行人生成的模拟LiDAR数据在多大程度上能减少感知系统中的sim2real领域差距？
• RQ4 当在真实数据有限的情况下，使用模拟LiDAR数据进行数据增强，能否显著提升行人检测性能？

主要发现

• 所提出的LiME方法在行人重建中实现了高几何精度，定性结果表明其与原始LiDAR序列的偏差极小。
• 使用重建行人生成的模拟LiDAR数据表现出较小的领域差距，当使用真实数据训练的检测器进行评估时，仅出现0.7个AP点的下降（IoU为0.5时）。
• 使用10万个模拟LiDAR样本进行数据增强，可使行人检测AP较仅使用真实数据最高提升3个百分点，尤其在真实数据有限时提升最为显著。
• 即使场景布局与轨迹完全相同，将10万个真实与10万个模拟样本结合使用，仍可实现1.7个AP点的性能提升，证明了多样化模拟序列的高价值。
• 该方法成功生成了多样化的行人行为，包括遮挡、群体互动以及诸如看手机等安全关键行为，从而支持对感知系统的鲁棒性测试。