[论文解读] Neonatal Pain Expression Recognition Using Transfer Learning

Ghada Zamzmi, Dmitry B. Goldgof+2 more|arXiv (Cornell University)|Jul 4, 2018

Pediatric Pain Management Techniques参考文献 32被引用 23

一句话总结

该论文提出了一种基于预训练VGG-Face和VGG网络的迁移学习流程，用于从新生儿面部图像中提取深层特征以识别疼痛表情。通过将这些深层特征与基于传统光流的应变特征相结合，该方法实现了92.71%的准确率和0.948的AUC，显著优于仅使用手工设计特征的结果。

ABSTRACT

Transfer learning using pre-trained Convolutional Neural Networks (CNNs) has been successfully applied to images for different classification tasks. In this paper, we propose a new pipeline for pain expression recognition in neonates using transfer learning. Specifically, we propose to exploit a pre-trained CNN that was originally trained on a relatively similar dataset for face recognition (VGG Face) as well as CNNs that were pre-trained on a relatively different dataset for image classification (iVGG F,M, and S) to extract deep features from neonates' faces. In the final stage, several supervised machine learning classifiers are trained to classify neonates' facial expression into pain or no pain expression. The proposed pipeline achieved, on a testing dataset, 0.841 AUC and 90.34 accuracy, which is approx. 7 higher than the accuracy of handcrafted traditional features. We also propose to combine deep features with traditional features and hypothesize that the mixed features would improve pain classification performance. Combining deep features with traditional features achieved 92.71 accuracy and 0.948 AUC. These results show that transfer learning, which is a faster and more practical option than training CNN from the scratch, can be used to extract useful features for pain expression recognition in neonates. It also shows that combining deep features with traditional handcrafted features is a good practice to improve the performance of pain expression recognition and possibly the performance of similar applications.

研究动机与目标

• 开发一种自动、连续且一致的新生儿疼痛评估方法，以克服观察者偏倚和间断性人工评分的问题。
• 解决公开可用的新生儿疼痛数据集有限以及面向成人的疼痛识别模型在新生儿中泛化能力差的挑战。
• 评估在新生儿面部图像上使用预训练卷积神经网络进行迁移学习在疼痛分类中的有效性。
• 探究将预训练网络提取的深层特征与传统手工设计特征（如光流应变）结合是否能提升分类性能。
• 为临床环境中的新生儿疼痛识别提供一种实用且快速的替代方案，避免从零开始训练CNN。

提出的方法

• 利用原始在人脸识别和ImageNet数据集上预训练的卷积神经网络（VGG-Face、VGG-F、VGG-M、VGG-S）作为特征提取器。
• 从预训练网络的最终全连接层（Post-ReLU）和较低层卷积层中提取深层特征。
• 应用特征选择方法，保留对疼痛分类最具相关性的特征。
• 在提取的深层特征上训练有监督分类器（SVM、kNN、朴素贝叶斯），进行二分类任务：疼痛 vs. 无疼痛。
• 将深层特征与从新生儿面部视频序列中提取的传统光流基应变特征相结合。
• 在应变图上应用峰值检测算法，生成描述性统计量（如平均应变）作为手工设计特征。

实验结果

研究问题

• RQ1 使用预训练CNN进行迁移学习是否能有效提取用于新生儿疼痛表情识别的判别性特征？
• RQ2 使用在相似数据集上预训练的网络（如VGG-Face）是否比在不同数据集上预训练的网络（如VGG-F、VGG-M、VGG-S）表现更优？
• RQ3 将预训练网络的深层特征与传统手工设计特征（如光流应变）结合，能否提升分类准确率和AUC？
• RQ4 与单独使用任一特征类型相比，结合特征带来的性能提升是否具有统计显著性？
• RQ5 所选网络层（低层 vs. 高层）的选择是否会影响提取特征的分类性能？

主要发现

• 所提出的流程在使用VGG-Face网络最终全连接层的深层特征时，实现了90.34%的准确率和0.841的AUC，相比传统手工设计特征（83.88%准确率，0.719 AUC）提升了7个百分点。
• 表现最佳的模型使用了VGG-Face网络高层特征，证实了假设：在相似数据（如人脸识别）上预训练的模型在新生儿疼痛识别任务中泛化能力更强。
• 将五个光流基应变特征与来自VGG-Face网络高层的十个深层特征结合，取得了最佳性能：92.71%准确率和0.948 AUC。
• 特征结合带来的性能提升具有统计显著性（p=0.05），表明混合特征表示能有效增强分类性能。
• 使用高层特征与低层特征的AUC差异无统计显著性（p=0.05），表明尽管高层特征表现更优，但差异并不稳健显著。
• 结果表明，迁移学习是训练CNN从零开始的更快、更实用的替代方案，且在数据量有限的情况下，特征融合是一种极具前景的性能提升策略。