[论文解读] Towards Better Uncertainty: Iterative Training of Efficient Networks for Multitask Emotion Recognition.

Didan Deng, Liang Wu+1 more|arXiv (Cornell University)|Jul 21, 2021

Emotion and Mood Recognition被引用 5

一句话总结

本文提出一种迭代的多代自蒸馏框架，以提升多任务情感识别中的不确定性估计。通过利用深度集成模型生成嵌入不确定性的软标签，该方法训练学生模型，使其能够估计域内不确定性并检测域外样本，其可靠性优于温度缩放（Temperature Scaling）和蒙特卡洛丢弃（Monte Carlo Dropout）方法。

ABSTRACT

When recognizing emotions, subtle nuances of emotion displays often cause ambiguity or uncertainty in emotion perception. Unfortunately, the ambiguity or uncertainty cannot be reflected in hard emotion labels. Emotion predictions with uncertainty can be useful for risk controlling, but they are relatively scarce in current deep models for emotion recognition. To address this issue, we propose to apply the multi-generational self-distillation algorithm to emotion recognition task towards better uncertainty estimation performance. We firstly use deep ensembles to capture uncertainty, as an approximation to Bayesian methods. Secondly, the deep ensemble provides soft labels to its student models, while the student models can learn from the uncertainty embedded in those soft labels. Thirdly, we iteratively train deep ensembles to further improve the performance of emotion recognition and uncertainty estimation. In the end, our algorithm results in a single student model that can estimate in-domain uncertainty and a student ensemble that can detect out-of-domain samples. We trained our Efficient Multitask Emotion Networks (EMENet) on the Aff-wild2 dataset, and conducted extensive experiments on emotion recognition and uncertainty estimation. Our algorithm gives more reliable uncertainty estimates than Temperature Scaling and Monte Carol Dropout.

研究动机与目标

• 为解决深度学习模型在情感识别任务中缺乏不确定性估计的问题，因为硬标签无法捕捉细微的情感模糊性。
• 提升情感识别系统中不确定性估计的可靠性，以在现实应用中实现更好的风险控制。
• 开发一个单一的学生模型，用于估计域内不确定性，同时构建一个集成模型以检测域外样本。

提出的方法

• 使用深度集成模型作为贝叶斯近似，以捕捉情感识别预测中的不确定性。
• 从深度集成模型生成软标签，作为学生模型知识蒸馏的目标。
• 使用带有不确定性感知的软标签训练学生模型，以学习鲁棒的不确定性估计。
• 迭代地重新训练深度集成模型，以优化不确定性估计并提升学生模型的性能。
• 应用多代自蒸馏，使得每一代学生模型都能提升下一代的不确定性估计能力。
• 最终获得一个经过优化的单一学生模型，以及一个用于检测域外数据分布偏移的学生模型集成。

实验结果

研究问题

• RQ1 深度集成能否有效近似情感识别任务中的贝叶斯不确定性？
• RQ2 如何将集成预测中的不确定性传递给学生模型，以改进不确定性估计？
• RQ3 迭代自蒸馏能否同时提升情感识别的准确率和不确定性估计的可靠性？
• RQ4 所提出的方法是否优于温度缩放和蒙特卡洛丢弃等成熟不确定性校准技术？
• RQ5 最终的学生模型能否可靠地估计域内不确定性，同时其集成模型能有效检测域外样本？

主要发现

• 在域内和域外检测任务中，所提出方法生成的不确定性估计均比温度缩放和蒙特卡洛丢弃更具可靠性。
• 迭代训练过程显著提升了多代学生模型在不确定性估计方面的性能。
• 最终的单一学生模型在域内数据上实现了优异的不确定性估计能力，其表现通过不确定性校准指标得到验证。
• 学生模型集成能有效检测域外样本，展现出超越训练分布的泛化能力。
• 该方法在保持高情感识别准确率的同时，显著增强了不确定性量化能力。