[论文解读] Regularizing Face Verification Nets For Pain Intensity Regression

Xiang Xiang, Feng Wang+7 more|arXiv (Cornell University)|Jan 1, 2017

Emotion and Mood Recognition参考文献 13被引用 15

一句话总结

本文提出了一种正则化的深度回归模型，通过微调预训练的人脸验证网络，利用平滑ℓ1损失和中心损失正则化进行疼痛强度回归。通过利用大规模人脸验证数据中的丰富特征，并使用加权度量缓解标签不平衡问题，该方法在UNBC-McMaster肩痛数据集上实现了最先进性能，相较于以往方法在MAE、MSE和PCC指标上表现更优，其加权评估度量更能反映真实世界中的疼痛分布。

ABSTRACT

Limited labeled data are available for the research of estimating facial expression intensities. For instance, the ability to train deep networks for automated pain assessment is limited by small datasets with labels of patient-reported pain intensities. Fortunately, fine-tuning from a data-extensive pre-trained domain, such as face verification, can alleviate this problem. In this paper, we propose a network that fine-tunes a state-of-the-art face verification network using a regularized regression loss and additional data with expression labels. In this way, the expression intensity regression task can benefit from the rich feature representations trained on a huge amount of data for face verification. The proposed regularized deep regressor is applied to estimate the pain expression intensity and verified on the widely-used UNBC-McMaster Shoulder-Pain dataset, achieving the state-of-the-art performance. A weighted evaluation metric is also proposed to address the imbalance issue of different pain intensities.

研究动机与目标

• 解决面部表情分析中疼痛强度回归任务因标注数据有限带来的挑战。
• 利用预训练的人脸验证网络，将丰富的特征表示迁移至低资源的疼痛强度回归任务中。
• 缓解疼痛强度数据中的标签不平衡问题，其中大多数帧显示无痛或轻度疼痛。
• 通过损失正则化提升回归性能，以促进离散且有意义的疼痛强度预测。
• 提出一种加权评估度量，使其更能反映临床数据中疼痛强度的自然分布。

提出的方法

• 在肩痛数据集上微调一个最先进的面部验证网络（来自CASIA-WebFace），使用平滑ℓ1损失进行连续回归。
• 引入中心损失作为正则化项，以促使预测的疼痛强度聚集在离散值（0–5）周围，提升泛化能力。
• 在瓶颈全连接层应用Dropout正则化，以防止在小样本数据集上过拟合。
• 使用Sigmoid激活函数，将输出预测限制在[0,5]的疼痛强度范围内。
• 在训练过程中采用均匀类别采样，以缓解疼痛强度分布中的类别不平衡问题。
• 提出一种加权评估度量（wMAE, wMSE），为较少见的疼痛水平分配更高的权重。

实验结果

研究问题

• RQ1 微调预训练的人脸验证网络是否能提升在低资源疼痛强度回归任务上的性能？
• RQ2 中心损失正则化如何影响预测疼痛强度在离散值周围的聚类效果？
• RQ3 与标准度量相比，引入加权评估度量是否更能反映临床相关性？
• RQ4 将平滑ℓ1损失与中心损失结合，相较于基线损失，能否显著提升回归性能？
• RQ5 在训练过程中采用均匀类别采样，是否能有效缓解不平衡疼痛强度分布的影响？

主要发现

• 所提方法在使用平滑ℓ1损失、ℓ1中心损失和均匀类别采样时，实现了平均绝对误差（MAE）为0.991，加权MSE为1.720，优于所有基线方法。
• 性能最佳的配置（平滑ℓ1 + ℓ1中心损失 + 采样）相比平凡的零预测基线，将wMAE降低了25%。
• 该方法实现了皮尔逊相关系数（PCC）为0.651，表明其预测结果与真实疼痛曲线在时间趋势上具有较强一致性。
• 加权评估度量揭示，以往方法如OSVR在标准度量下甚至被平凡的零预测基线所超越，凸显了改进评估方式的必要性。
• 中心损失正则化显著提升了性能，尤其在减少离散疼痛水平附近的预测方差方面表现突出。
• 平滑ℓ1损失与中心损失的结合，相比单独使用MSE或ℓ1损失，能产生更稳定且更准确的回归输出。