[论文解读] Robust Neonatal Face Detection in Real-world Clinical Settings

Jacqueline Hausmann, Md Sirajus Salekin+3 more|arXiv (Cornell University)|Apr 1, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出了一种微调后的 YOLOv5 模型，用于在具有挑战性的 NICU 环境中实现鲁棒且接近实时的新生儿面部检测。该模型在包含 58 名新生儿的专有临床数据集上进行训练，检测准确率达到 68.7%，显著优于现成的解决方案（7.37%），证明了其在自动化临床系统（如疼痛识别）中的可行性。

ABSTRACT

Current face detection algorithms are extremely generalized and can obtain decent accuracy when detecting the adult faces. These approaches are insufficient when handling outlier cases, for example when trying to detect the face of a neonate infant whose face composition and expressions are relatively different than that of the adult. It is furthermore difficult when applied to detect faces in a complicated setting such as the Neonate Intensive Care Unit. By training a state-of-the-art face detection model, You-Only-Look-Once, on a proprietary dataset containing labelled neonate faces in a clinical setting, this work achieves near real time neonate face detection. Our preliminary findings show an accuracy of 68.7%, compared to the off the shelf solution which detected neonate faces with an accuracy of 7.37%. Although further experiments are needed to validate our model, our results are promising and prove the feasibility of detecting neonatal faces in challenging real-world settings. The robust and real-time detection of neonatal faces would benefit wide range of automated systems (e.g., pain recognition and surveillance) who currently suffer from the time and effort due to the necessity of manual annotations. To benefit the research community, we make our trained weights publicly available at github(https://github.com/ja05haus/trained_neonate_face).

研究动机与目标

• 解决由于新生儿独特的面部特征和环境噪声，导致在真实 NICU 环境中难以实现准确的新生儿面部检测的问题。
• 克服现成面部检测器在新生儿中失效的局限性，原因在于新生儿面部结构不成熟以及姿态变化较大。
• 开发一种专为新生儿临床应用（如疼痛评估）设计的鲁棒、实时面部检测系统。
• 实现面部检测的自动化，以减少多模态新生儿研究中对耗时的手动标注的依赖。

提出的方法

• 在真实 NICU 环境中采集的新生儿视频帧专有数据集上对 YOLOv5（You Only Look Once）进行微调。
• 使用 USF-MNPAD-I 数据集，其中包含 58 名新生儿，训练图像标注 302 张，测试图像 2,814 张。
• 应用数据增强和预处理技术，以应对 NICU 场景中常见的低光照、杂乱背景和遮挡问题。
• 在临床疼痛操作场景下对模型进行训练，以提升在临床应激条件下的检测性能。
• 使用标准指标（包括平均平均精度和帧率，平均 4 fps）评估性能。
• 公开发布训练好的权重，以支持可复现性及社区复用。

实验结果

研究问题

• RQ1 像 YOLOv5 这类先进目标检测模型是否能够通过有效微调，在真实 NICU 条件下检测新生儿面部？
• RQ2 在新生儿专用数据集上进行微调，相较于现成模型，能否显著提升检测准确率？
• RQ3 所提出的模型在临床相关场景下的实时推理性能如何？
• RQ4 环境因素（如遮挡、光照和背景杂乱）在多大程度上影响检测的鲁棒性？

主要发现

• 微调后的 YOLOv5 模型在来自 NICU 的 2,814 张新生儿图像测试集中实现了 68.7% 的检测准确率。
• 现成的 YOLOv5 模型仅实现了 7.37% 的新生儿面部检测准确率，凸显了领域特定微调的必要性。
• 该模型实现了平均 4 fps 的推理速度，部分情况下可达 8 fps，表明其具备接近实时的性能。
• 即使在被导线或氧气面罩遮挡的情况下，该模型仍能成功将新生儿面部定位在紧密的边界框内。
• 视觉对比显示，微调后的模型能正确识别新生儿面部，而未经训练的模型常将非面部物体（如“椅子”或“遥控器”）误检为面部。
• 结果表明，针对特定领域的微调对于临床环境中可靠检测新生儿面部至关重要。