[论文解读] ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images

Fangqiang Ding, Yunzhou Zhu+3 more|arXiv (Cornell University)|Mar 14, 2024

Infrared Thermography in MedicineMedicine被引用 3

一句话总结

ThermoHands 首次提出了基于热成像的自指3D手部姿态估计基准，包含一个由28名受试者采集的多光谱数据集，共96,000张同步图像，以及一个自动化的3D姿态标注流程。所提出的TheFormer模型采用双Transformer模块进行时空编码，实现了最先进性能，证明了热成像在低光照和佩戴手套等挑战性条件下的鲁棒性。

ABSTRACT

Designing egocentric 3D hand pose estimation systems that can perform reliably in complex, real-world scenarios is crucial for downstream applications. Previous approaches using RGB or NIR imagery struggle in challenging conditions: RGB methods are susceptible to lighting variations and obstructions like handwear, while NIR techniques can be disrupted by sunlight or interference from other NIR-equipped devices. To address these limitations, we present ThermoHands, the first benchmark focused on thermal image-based egocentric 3D hand pose estimation, demonstrating the potential of thermal imaging to achieve robust performance under these conditions. The benchmark includes a multi-view and multi-spectral dataset collected from 28 subjects performing hand-object and hand-virtual interactions under diverse scenarios, accurately annotated with 3D hand poses through an automated process. We introduce a new baseline method, TherFormer, utilizing dual transformer modules for effective egocentric 3D hand pose estimation in thermal imagery. Our experimental results highlight TherFormer's leading performance and affirm thermal imaging's effectiveness in enabling robust 3D hand pose estimation in adverse conditions.

研究动机与目标

• 解决RGB-based 3D手部姿态估计在光照变化和遮挡（如手套）条件下的局限性。
• 克服主动近红外（NIR）系统存在的功耗高和外部光源干扰等问题。
• 证明被动热成像在实现鲁棒的自指3D手部姿态估计方面的可行性与优势。
• 建立标准化基准，以支持热成像基手部姿态估计方法的系统性评估与比较。
• 提供大规模、多光谱、多视角数据集，包含自动生成的3D手部姿态标注，覆盖多样化的现实场景。

提出的方法

• 采集一个多光谱、多视角数据集，包含28名受试者在执行手-物体交互和手-虚拟交互时的同步热成像、RGB、NIR和深度图像。
• 开发一种基于多视角RGB和深度数据的自动化3D手部姿态标注流程，通过优化MANO手部模型，实现约1cm的平均精度。
• 提出TheFormer，一种双分支Transformer架构，结合掩码引导的空间Transformer与时间Transformer，用于建模热成像序列中的时空关系。
• 在热成像数据上端到端训练和评估TheFormer，利用其双分支设计在保持计算效率的同时捕捉复杂的手部动态。
• 在多种光谱模态和挑战性条件下，将TheFormer与最先进RGB、NIR和深度基方法进行基准测试。
• 在标准和辅助测试集上进行定性和定量评估，涵盖戴手套、黑暗环境和强阳光直射等场景。

实验结果

研究问题

• RQ1 热成像能否在光照和遮挡条件挑战下，实现自指设置中鲁棒的3D手部姿态估计？
• RQ2 与RGB、NIR和深度基方法相比，基于热成像的3D手部姿态估计在准确性和鲁棒性方面表现如何？
• RQ3 在强环境光或存在多个AR/VR设备的现实环境中，被动热感测在多大程度上能优于主动NIR系统？
• RQ4 基于多视角RGB和深度数据的自动化标注流程，在热成像数据集中生成准确3D手部姿态真实值的效率如何？
• RQ5 何种网络架构设计能够实现高效且准确的热成像序列3D手部姿态估计，同时保持空间与时间依赖性？

主要发现

• 自动化标注流程实现了约1cm的平均3D手部姿态标注精度，验证了真实值的可靠性。
• TheFormer在基于热成像的3D手部姿态估计中优于现有方法，在ThermoHands基准上实现了最先进性能。
• 在戴手套场景中，热成像显著优于RGB和NIR方法，后者因颜色和纹理变化而性能下降。
• 在强阳光直射和完全黑暗条件下，热成像保持一致性能，而NIR系统因干扰失效，RGB系统则因可见度丧失而失效。
• TheFormer中的双Transformer设计能有效建模热成像序列的时空关系，同时保持计算效率。
• 基于热成像的估计方法在多样化现实条件下展现出更优的适应性和鲁棒性，证实其在XR和人机交互应用中的潜力。