[论文解读] Sparsely Connected and Disjointly Trained Deep Neural Networks for Low Resource Behavioral Annotation: Acoustic Classification in Couples' Therapy

Haoqi Li, Brian Baucom+1 more|arXiv (Cornell University)|Jun 14, 2016

Music and Audio Processing参考文献 17被引用 5

一句话总结

该论文提出了一种稀疏连接且独立训练的深度神经网络（SD-DNN）框架，以提升低资源环境下的行为分类性能，特别是在伴侣治疗中的声学分析方面。通过将声学特征划分为子集，独立训练多个DNN，并融合其隐藏层，该方法降低了参数复杂度，在数据有限且嘈杂的情况下提升了收敛性，最终在‘接受’行为分类任务上达到了75.36%的准确率，显著优于基线模型。

ABSTRACT

Observational studies are based on accurate assessment of human state. A behavior recognition system that models interlocutors' state in real-time can significantly aid the mental health domain. However, behavior recognition from speech remains a challenging task since it is difficult to find generalizable and representative features because of noisy and high-dimensional data, especially when data is limited and annotated coarsely and subjectively. Deep Neural Networks (DNN) have shown promise in a wide range of machine learning tasks, but for Behavioral Signal Processing (BSP) tasks their application has been constrained due to limited quantity of data. We propose a Sparsely-Connected and Disjointly-Trained DNN (SD-DNN) framework to deal with limited data. First, we break the acoustic feature set into subsets and train multiple distinct classifiers. Then, the hidden layers of these classifiers become parts of a deeper network that integrates all feature streams. The overall system allows for full connectivity while limiting the number of parameters trained at any time and allows convergence possible with even limited data. We present results on multiple behavior codes in the couples' therapy domain and demonstrate the benefits in behavior classification accuracy. We also show the viability of this system towards live behavior annotations.

研究动机与目标

• 解决心理健康应用中行为信号处理（BSP）面临的数据稀疏性挑战。
• 克服在有限、粗糙且主观的行为标注数据上训练深度学习模型时出现的收敛性差与过拟合问题。
• 开发一种可扩展且高效的DNN框架，在数据量有限的情况下仍能保持高性能。
• 实现实时、连续的行为轨迹估计，以支持临床监测与干预。
• 证明SD-DNN框架在伴侣治疗中实现会话级与在线行为标注的可行性。

提出的方法

• 将全部声学特征（如MFCC、基频、抖动、闪变）划分为互不重叠的子集，以降低维度与模型复杂度。
• 在每个特征子集上独立训练多个小型DNN，采用分离的优化过程，从而在任意时刻限制可训练参数的数量。
• 将各DNN的隐藏层连接成一个更深层的全连接融合网络，以整合多流特征表示。
• 使用训练好的SD-DNN作为全连接DNN（DNN_SD-init）的权重初始化方法，以评估稀疏性与参数共享的影响。
• 与SVM、标准全连接DNN及联合训练DNN（SJ-DNN）进行性能对比，以分离稀疏性与独立训练带来的优势。
• 应用会话级归一化与滑动窗口特征提取方法，以保留时间动态特性，支持在线行为轨迹估计。

实验结果

研究问题

• RQ1 稀疏连接且独立训练的DNN架构是否能提升低资源行为信号处理任务中的分类准确率？
• RQ2 通过独立训练限制同时可训练参数数量，是否能提升小样本数据上的模型收敛性与性能？
• RQ3 SD-DNN在基于声学的行为分类任务中，与标准全连接DNN及SVM基线相比表现如何？
• RQ4 SD-DNN框架是否能支持临床监测中的实时、连续行为轨迹估计？
• RQ5 尽管参数量增加，使用SD-DNN权重初始化全连接DNN是否能提升性能？

主要发现

• SD-DNN在‘接受’行为分类上达到75.36%的准确率，显著优于SVM基线的68.57%以及全连接DNN的71.79%。
• SD-DNN优于联合训练的SJ-DNN模型（‘接受’行为准确率为73.57%），表明独立训练可减少过拟合并提升泛化能力。
• 使用SD-DNN权重初始化的全连接DNN（DNN_SD-init）性能反而下降，表明在数据稀疏时，增加连接性会损害性能。
• SD-DNN框架支持生成连续的行为轨迹，揭示了诸如‘负面情绪/责备’与‘接受’之间存在反向相关性的有意义时间动态。
• 该方法在实时行为标注中表现出可行性，支持在真实场景与持续监测场景中的部署。
• 结果证实，参数稀疏性与独立训练在低数据BSP应用中对提升DNN性能均至关重要。