[论文解读] Multimodal In-bed Pose and Shape Estimation under the Blankets

Yu Yin, J. Paul Robinson+1 more|arXiv (Cornell University)|Dec 12, 2020

Human Pose and Action Recognition被引用 8

一句话总结

该论文提出了一种新颖的多模态框架，用于在被毯子严重遮挡的情况下进行床上三维人体姿态与体型估计。该框架采用金字塔融合结构，按信息量顺序依次整合深度图、红外图像、压力图和RGB图像数据，并引入基于注意力的重建模块以恢复被遮挡区域。该方法实现了最先进性能，通过循环优化将重建误差降低至最多2毫米。

ABSTRACT

Humans spend vast hours in bed -- about one-third of the lifetime on average. Besides, a human at rest is vital in many healthcare applications. Typically, humans are covered by a blanket when resting, for which we propose a multimodal approach to uncover the subjects so their bodies at rest can be viewed without the occlusion of the blankets above. We propose a pyramid scheme to effectively fuse the different modalities in a way that best leverages the knowledge captured by the multimodal sensors. Specifically, the two most informative modalities (i.e., depth and infrared images) are first fused to generate good initial pose and shape estimation. Then pressure map and RGB images are further fused one by one to refine the result by providing occlusion-invariant information for the covered part, and accurate shape information for the uncovered part, respectively. However, even with multimodal data, the task of detecting human bodies at rest is still very challenging due to the extreme occlusion of bodies. To further reduce the negative effects of the occlusion from blankets, we employ an attention-based reconstruction module to generate uncovered modalities, which are further fused to update current estimation via a cyclic fashion. Extensive experiments validate the superiority of the proposed model over others.

研究动机与目标

• 为解决在被毯子完全遮挡的常见但研究不足的医疗监测场景中，估计床上三维人体姿态与体型的挑战。
• 克服单模态方法的局限性——例如RGB在遮挡下表现差，压力图对体表外部位缺失数据，深度图/红外图对遮挡与热残留敏感。
• 设计一种分层融合策略，优先利用信息最丰富的模态（深度图与红外图），随后逐步引入对遮挡不敏感的（压力图）与高分辨率（RGB）数据进行细化。
• 通过一种新颖的基于注意力的重建模块，减轻毯子遮挡的负面影响，生成合理的未遮挡模态，实现姿态与体型估计的循环优化。

提出的方法

• 设计了一种金字塔融合结构，按信息量顺序依次融合模态：首先在基础层融合深度图与红外图，随后融合压力图，最后在顶层融合RGB图像。
• 采用从粗到精的估计流程：首先从输入模态预测3D网格，随后通过基于注意力的重建模块进行细化。
• 基于注意力的重建模块通过利用空间与通道注意力机制，聚焦于相关特征，生成被遮挡模态（尤其是深度图与RGB）的合成未遮挡版本。
• 重建后的模态以循环方式重新输入网络，迭代优化姿态与体型估计。
• 该框架对模态部分缺失具有鲁棒性，即使仅提供深度图与红外图，也能实现准确推理。
• 通过3D网格重建损失、投影网格上的分割准确率与F1分数联合训练与评估该方法。

实验结果

研究问题

• RQ1 是否一种优先融合高信息量传感器（深度图与红外图）的多模态融合策略，能显著提升在极端遮挡条件下的床上三维人体姿态与体型估计性能？
• RQ2 与简单早期或晚期融合相比，按顺序融合多种模态（深度图、红外图、压力图、RGB）的金字塔融合策略，在性能与鲁棒性方面表现如何？
• RQ3 基于注意力的重建模块在多大程度上能恢复深度图与RGB模态中缺失或被遮挡的信息，从而提升估计精度？
• RQ4 与单次推理相比，通过将重建模态循环反馈至模型的循环优化过程，是否能显著提升姿态与体型估计性能？
• RQ5 当身体部分或完全被覆盖时，各模态（尤其是压力图与RGB）对性能的贡献程度如何？

主要发现

• 金字塔融合结构显著优于早期融合与无融合基线方法，相比非金字塔融合，平均重建误差降低1.2毫米。
• 基于注意力的重建模块使平均重建误差降低2毫米，定性结果表明重建后深度图结构更清晰，网格拟合效果更优。
• 深度图与红外图最具信息量，对初始姿态估计贡献最大；压力图则提供关键的对遮挡不敏感的接触信息。
• 尽管RGB数据分辨率高，但在被遮挡时表现差，但当身体未被遮挡时，其对体型估计精度有显著贡献。
• 完整模型（IR+深度图+压力图+RGB，采用金字塔融合与重建）实现最低重建误差（74.83毫米），证明了完整流程的有效性。
• 即使在模态部分缺失的情况下，该模型仍保持高效性能，展现出在真实部署场景中的强大泛化能力与鲁棒性。