[论文解读] Two-stage Temporal Modelling Framework for Video-based Depression Recognition using Graph Representation

Jiaqi Xu, Siyang Song+3 more|arXiv (Cornell University)|Nov 30, 2021

Mental Health Research Topics参考文献 57被引用 9

一句话总结

本文提出了一种用于基于视频的抑郁识别的两阶段时序建模框架，利用图表示捕捉多尺度面部行为。首先通过抑郁特征增强（DFE）模块增强短期抑郁相关特征，随后利用序列（SEG）和谱（SPG）图编码将这些特征编码为视频级图表示，在 AVEC 2013 和 2014 数据集上实现了最先进性能，皮尔逊相关系数（PCC）最高达 0.770，均方根误差（RMSE）为 8.18。

ABSTRACT

Video-based automatic depression analysis provides a fast, objective and repeatable self-assessment solution, which has been widely developed in recent years. While depression clues may be reflected by human facial behaviours of various temporal scales, most existing approaches either focused on modelling depression from short-term or video-level facial behaviours. In this sense, we propose a two-stage framework that models depression severity from multi-scale short-term and video-level facial behaviours. The short-term depressive behaviour modelling stage first deep learns depression-related facial behavioural features from multiple short temporal scales, where a Depression Feature Enhancement (DFE) module is proposed to enhance the depression-related clues for all temporal scales and remove non-depression noises. Then, the video-level depressive behaviour modelling stage proposes two novel graph encoding strategies, i.e., Sequential Graph Representation (SEG) and Spectral Graph Representation (SPG), to re-encode all short-term features of the target video into a video-level graph representation, summarizing depression-related multi-scale video-level temporal information. As a result, the produced graph representations predict depression severity using both short-term and long-term facial beahviour patterns. The experimental results on AVEC 2013 and AVEC 2014 datasets show that the proposed DFE module constantly enhanced the depression severity estimation performance for various CNN models while the SPG is superior than other video-level modelling methods. More importantly, the result achieved for the proposed two-stage framework shows its promising and solid performance compared to widely-used one-stage modelling approaches.

研究动机与目标

• 解决现有单阶段方法在有效建模短期和长期抑郁相关面部行为方面的局限性。
• 通过将抑郁线索与非抑郁相关面部属性（例如身份）分离，克服帧级建模中非抑郁属性占主导的问题。
• 开发一种新型视频级表示，将多尺度短期特征汇总为图结构，以改善时序建模。
• 通过整合短期特征增强与基于图的长期视频表示，实现抑郁严重程度的端到端学习。
• 在同数据集和跨数据集评估中，证明所提出的两阶段框架优于单阶段基线方法。

提出的方法

• 使用多任务瓶颈（MTB）模块从短视频片段中提取多尺度时序特征，捕捉不同时间尺度下的面部动态。
• 在每个尺度上应用抑郁特征增强（DFE）模块，以增强抑郁相关线索并抑制特征表示中的非抑郁噪声。
• 将各尺度增强后的特征拼接，并应用非稀疏（NS）子模块，进一步分离无关属性。
• 构建两种新型图编码策略：序列图表示（SEG）和谱图表示（SPG），以将整个视频建模为图结构。
• 将生成的图表示输入图神经网络（GNNs），用于回归抑郁严重程度评分。
• 在 DFE 和 GNN 模块中引入注意力机制，以优先关注相关的时间和空间面部模式。

Figure 1: The pipeline of the proposed approach which consists of three main modules. The MTB module first extracts short-term behavioural features at multiple spatio-temporal scales from every thin slice of the target video. Then, the DFE module enhances the depression-related cues encoded by the f

实验结果

研究问题

• RQ1 与单阶段方法相比，建模短期和视频级面部行为的两阶段框架是否能提升抑郁识别性能？
• RQ2 所提出的 DFE 模块在增强抑郁相关特征并减少非抑郁面部属性干扰方面，其增强程度如何？
• RQ3 不同图编码策略（SEG 与 SPG）在将多尺度短期特征汇总为一致的视频级表示方面，表现如何比较？
• RQ4 基于图的视频级建模是否能带来更好的跨数据集泛化能力？
• RQ5 所提出的框架能否扩展至抑郁检测以外的其他视频级识别任务？

主要发现

• 所提出的两阶段框架优于大多数现有单阶段方法，在 AVEC 2013 测试集上采用 MTB-DFE+SPG 配置时，皮尔逊相关系数（PCC）达 0.770，均方根误差（RMSE）为 8.18。
• DFE 模块在所有测试的 CNN 模型上均一致提升了性能，证明其在增强抑郁相关线索和抑制非抑郁噪声方面的有效性。
• 谱图表示（SPG）在性能上优于 SEG 和其他基线方法，表明其在编码任意长度的短期特征序列方面具有优势。
• MTB-DFE+SPG 模型在域内评估中表现优异（例如 AVEC 2013 上 PCC 达 0.770），但在跨数据集设置中泛化能力有限，NorthWind 和 Freeform 数据集上出现负的 PCC 值。
• 两阶段方法始终优于对应的单阶段模型，证实联合建模短期和长期行为可增强预测鲁棒性。
• 该框架的模块化设计使其可与多种短期和长期建模组件集成，表明其在后续应用中具有强大的可扩展性。

Figure 2: The architecture of the Multi-scale Temporal Behavioural Feature Extraction (MTB) module.