[论文解读] Pain Intensity Estimation from Mobile Video Using 2D and 3D Facial Keypoints

Matthew Lee, Lyndon Kennedy+5 more|arXiv (Cornell University)|Jun 17, 2020

Pediatric Pain Management Techniques参考文献 39被引用 8

一句话总结

该论文提出了一种基于移动设备的系统，通过智能手机捕捉的2D和3D面部关键点来估计术后疼痛强度。该研究引入了一个新型标注的术后患者面部关键点数据集，采用多实例学习方法处理帧级数据中的噪声，并表明3D特征和BlendShapes优于2D关键点，其中3D特征在使用时间聚类的二值疼痛分类中达到75.0%的AUC。

ABSTRACT

Managing post-surgical pain is critical for successful surgical outcomes. One of the challenges of pain management is accurately assessing the pain level of patients. Self-reported numeric pain ratings are limited because they are subjective, can be affected by mood, and can influence the patient's perception of pain when making comparisons. In this paper, we introduce an approach that analyzes 2D and 3D facial keypoints of post-surgical patients to estimate their pain intensity level. Our approach leverages the previously unexplored capabilities of a smartphone to capture a dense 3D representation of a person's face as input for pain intensity level estimation. Our contributions are adata collection study with post-surgical patients to collect ground-truth labeled sequences of 2D and 3D facial keypoints for developing a pain estimation algorithm, a pain estimation model that uses multiple instance learning to overcome inherent limitations in facial keypoint sequences, and the preliminary results of the pain estimation model using 2D and 3D features with comparisons of alternate approaches.

研究动机与目标

• 开发一种客观、无干扰的方法来估计术后疼痛强度，以减少对主观自报的依赖。
• 在临床环境中收集术后患者的真实标注2D和3D面部关键点的新数据集。
• 设计一种疼痛估计模型，有效处理来自移动视频的面部关键点序列中固有的噪声和可变性。
• 评估2D与3D面部特征的性能，并比较多实例学习与替代建模方法。
• 证明利用消费级智能手机通过密集3D面部重建实现临床级疼痛评估的可行性。

提出的方法

• 使用具备深度感应功能的商用智能手机，同步捕获2D RGB视频和密集3D面部网格数据。
• 从3D网格中提取2D面部关键点（210个点）、3D面部关键点（3660个点）以及BlendShapes（52维的表情编码）。
• 将疼痛估计任务建模为多实例学习（MIL）问题，以处理帧序列中信息量不一的情况。
• 应用时间聚类将帧分组为有意义的实例，从而在性能上优于随机或均匀采样。
• 在MIL处理后，使用SVM、高斯过程和支持向量回归对模型进行训练和比较，以进行最终预测。
• 采用改进的DeepFaceLIFT框架结合MIL进行二值疼痛分类，通过AUC评估性能。

实验结果

研究问题

• RQ1 与仅使用2D视频相比，使用移动设备捕获的3D面部数据是否能提升疼痛强度估计的性能？
• RQ2 多实例学习是否能有效建模来自噪声大、质量不稳定的面部关键点序列的疼痛强度？
• RQ3 在疼痛估计中，不同特征表示方法——2D关键点、3D关键点和BlendShapes——的性能表现如何比较？
• RQ4 对帧进行时间聚类是否能提升基于MIL的疼痛估计模型的性能？
• RQ5 基于智能手机的系统是否能通过无干扰、非侵入性的面部分析，实现对二值疼痛水平的临床可用精度？

主要发现

• 3D面部关键点在所有评估任务中均持续优于2D关键点，在使用时间聚类的MIL设置下，二值疼痛分类的AUC达到75.0%。
• 尽管维度较低（52D），BlendShapes特征表示优于2D和3D关键点，在MIL-Cluster设置下达到82.6%的AUC。
• 结合时间聚类的多实例学习显著提升了性能，优于随机或均匀采样，表明对帧级可变性有更优的处理能力。
• 在3D关键点上，结合时间聚类的MIL方法达到最高AUC（75.0%），优于基线的DeepFaceLIFT+SVM（2D关键点的AUC为71.0%）。
• 本研究证明，消费级智能手机捕获的3D面部数据可产生有意义且具有判别力的特征，适用于疼痛估计，具备临床部署潜力。
• 本研究提出的术后患者真实标注面部关键点数据集，为未来自动化疼痛评估研究提供了宝贵的基准。