[论文解读] Seeing Under the Cover: A Physics Guided Learning Approach for In-Bed Pose Estimation

Shuangjun Liu, Sarah Ostadabbas|arXiv (Cornell University)|Jul 3, 2019

Human Pose and Action Recognition参考文献 13被引用 4

一句话总结

本文提出一种基于物理引导的长波长红外（LWIR）成像方法，称为热扩散下的隐蔽成像（UCITD），用于在完全黑暗和完全覆盖条件下估计卧床人体姿态。通过利用热扩散物理原理并引入一个用于真实标签标注的物理超参数，作者构建了SLP数据集，并训练了一个深度学习模型，在客厅和医院环境中分别实现了98.0%和96.0%的PCK0.2准确率，其成本、尺寸和准确率均优于压力传感（PM）系统。

ABSTRACT

Human in-bed pose estimation has huge practical values in medical and healthcare applications yet still mainly relies on expensive pressure mapping (PM) solutions. In this paper, we introduce our novel physics inspired vision-based approach that addresses the challenging issues associated with the in-bed pose estimation problem including monitoring a fully covered person in complete darkness. We reformulated this problem using our proposed Under the Cover Imaging via Thermal Diffusion (UCITD) method to capture the high resolution pose information of the body even when it is fully covered by using a long wavelength IR technique. We proposed a physical hyperparameter concept through which we achieved high quality groundtruth pose labels in different modalities. A fully annotated in-bed pose dataset called Simultaneously-collected multimodal Lying Pose (SLP) is also formed/released with the same order of magnitude as most existing large-scale human pose datasets to support complex models' training and evaluation. A network trained from scratch on it and tested on two diverse settings, one in a living room and the other in a hospital room showed pose estimation performance of 99.5% and 95.7% in PCK0.2 standard, respectively. Moreover, in a multi-factor comparison with a state-of-the art in-bed pose monitoring solution based on PM, our solution showed significant superiority in all practical aspects by being 60 times cheaper, 300 times smaller, while having higher pose recognition granularity and accuracy.

研究动机与目标

• 解决在完全黑暗和完全覆盖条件下，传统RGB和基于深度的方法失效时的卧床姿态估计挑战。
• 开发一种低成本、非接触式且保护隐私的替代方案，以替代医疗领域中昂贵的压力映射（PM）系统。
• 创建一个大规模、完全标注的卧床姿态数据集（SLP），包含在不同覆盖条件下采集的多模态（LWIR与RGB）数据，用于模型训练与评估。
• 通过建模人体热量与表面温度分布之间的物理关系，实现基于热成像的高精度姿态估计。
• 在真实部署场景中，证明所提物理引导热成像方法在性能和成本效益方面优于最先进的基于PM的解决方案。

提出的方法

• 提出一种受物理启发的成像模型UCITD，利用长波长红外（LWIR）成像捕捉人体在被褥下因热扩散产生的温度分布模式。
• 引入物理超参数概念，将人体姿态与热特征关联，实现跨模态的精确真实姿态标签标注。
• 收集并发布同步采集的多模态卧床姿态（SLP）数据集，包含14名受试者在5种覆盖类型和2种环境下的同步LWIR与RGB数据。
• 从零开始在SLP-LWIR数据上训练堆叠的沙漏网络，无需使用外部数据集进行预训练，即实现高姿态估计性能。
• 通过迁移学习实现领域自适应，在包含不同床具、覆盖物和受试者的医院新环境中微调模型，以评估实际部署中的鲁棒性。
• 采用PCK0.2指标评估姿态估计准确率，并与RGB和基于PM的基线方法进行对比。

实验结果

研究问题

• RQ1 当人体完全被覆盖且处于完全黑暗环境中时，是否可以利用长波长红外成像中的热扩散模式推断出详细的卧床人体姿态？
• RQ2 如何利用热传递的物理原理，为卧床姿态估计生成准确的多模态真实姿态标签？
• RQ3 在新构建的大规模卧床姿态数据集上训练的深度学习模型，在存在领域偏移的实际部署场景中，其泛化能力如何？
• RQ4 与基于压力映射的系统相比，所提出的物理引导热成像方法在准确率、成本、尺寸和实用性方面表现如何？
• RQ5 基于视觉的非接触式系统是否能够实现比现有基于PM的解决方案更高的姿态识别粒度和更低的成本？

主要发现

• 所提出的UCITD方法在客厅环境中实现了98.0%的PCK0.2准确率，在医院环境中实现了96.0%的PCK0.2准确率，表明其在不同环境间具有强大的泛化能力。
• SLP数据集包含14名受试者和5种覆盖类型，涵盖两个环境，已公开发布，其规模与大型人体姿态数据集相当。
• 在医院环境中，基于SLP-LWIR数据训练的模型优于使用预训练的RGB模型，表明所提数据与方法的有效性。
• UCITD系统成本仅为最先进的压力映射系统的1/60，体积小了300倍，同时实现了更高的姿态识别粒度（14个关节点 vs. 8个）。
• 该方法具有隐私保护性且无辐射，因其使用不可识别的热成像图，无需物理接触或传感器。
• 本研究证明，即使在完全黑暗环境中，只要合理建模热扩散的物理约束，通过热成像实现姿态估计是可行的。