[论文解读] Vision based body gesture meta features for Affective Computing

Indigo Orton|arXiv (Cornell University)|Feb 10, 2020

Emotion and Mood Recognition参考文献 49被引用 4

一句话总结

本文提出了一种基于视觉的肢体动作元特征——捕捉运动、持续时间与意外性，源自姿态估计，用于预测心理困扰，尤其是抑郁症。基于包含65段访谈视频的新数据集（附有自评困扰标签），该方法通过线性回归实现82.70%的F1分数，证明聚合后的动作元特征为情感计算中传统手工设计或深度学习方法提供了一种有前景且可解释的替代方案。

ABSTRACT

Early detection of psychological distress is key to effective treatment. Automatic detection of distress, such as depression, is an active area of research. Current approaches utilise vocal, facial, and bodily modalities. Of these, the bodily modality is the least investigated, partially due to the difficulty in extracting bodily representations from videos, and partially due to the lack of viable datasets. Existing body modality approaches use automatic categorization of expressions to represent body language as a series of specific expressions, much like words within natural language. In this dissertation I present a new type of feature, within the body modality, that represents meta information of gestures, such as speed, and use it to predict a non-clinical depression label. This differs to existing work by representing overall behaviour as a small set of aggregated meta features derived from a person's movement. In my method I extract pose estimation from videos, detect gestures within body parts, extract meta information from individual gestures, and finally aggregate these features to generate a small feature vector for use in prediction tasks. I introduce a new dataset of 65 video recordings of interviews with self-evaluated distress, personality, and demographic labels. This dataset enables the development of features utilising the whole body in distress detection tasks. I evaluate my newly introduced meta-features for predicting depression, anxiety, perceived stress, somatic stress, five standard personality measures, and gender. A linear regression based classifier using these features achieves a 82.70% F1 score for predicting depression within my novel dataset.

研究动机与目标

• 通过引入捕捉超越离散动作的的行为模式的元特征，解决自动困扰检测中肢体模态研究不足的问题。
• 通过创建一个包含65段访谈录音的新数据集，克服缺乏附带源视频与姿态数据的公开数据集的局限，该数据集包含自评困扰、人格与人口统计学标签。
• 开发一种特征提取流程，将原始姿态序列转换为可解释的、低维的元特征，以表征运动动态、持续时间与意外性。
• 通过传统与机器学习分类器，验证这些元特征在非临床抑郁症、焦虑、压力、人格特质与性别预测中的预测能力。

提出的方法

• 使用开源工具从视频记录中提取姿态估计，获得身体部位的2D关节坐标。
• 基于关节位置随时间的变化，将动作检测为特定身体部位（如手臂、手部）的运动序列。
• 为每个动作计算元特征，包括运动幅度（移动距离）、持续时间（时间跨度）与意外性（基于先前模式的预期动作时间的偏离程度）。
• 通过统计汇总（均值与标准差）将所有动作的这些特征在视频中进行聚合，生成紧凑的、低维的特征向量。
• 在聚合后的元特征上训练线性回归分类器，以预测抑郁症及其他心理状态。
• 在包含65段访谈视频的新数据集上评估该方法，该数据集附有自评困扰与人口统计学标签，实现完整流程的验证。

实验结果

研究问题

• RQ1 从肢体动作动态中提取的元特征（如运动、持续时间与意外性）是否比离散动作分类更能有效预测心理困扰？
• RQ2 这些元特征在抑郁症、焦虑、感知压力与人格特质等多种心理状态上的泛化能力如何？
• RQ3 在缺乏大规模公开数据集的情况下，使用元特征的线性分类器性能与现有方法相比如何？
• RQ4 这些提出的元特征是否能基于心理文献中关于困扰行为（如小动作或节律性动作）的理论进行解释？
• RQ5 这些特征在多模态或深度学习框架中的潜力如何，特别是在与其他模态（如面部表情或语音）结合时？

主要发现

• 所提出的动作元特征在使用线性回归分类器对新数据集进行抑郁症分类时，实现了82.70%的F1分数。
• 该方法优于依赖离散动作分类的基线方法，证明了聚合动态特征相较于孤立动作标签的价值。
• 元特征不仅对抑郁症具有强预测能力，还对焦虑、感知压力、躯体压力以及五种标准人格特质具有显著预测能力。
• 衡量与预期动作时间偏离程度的“意外性”特征，显示出捕捉与困扰相关的意外或紊乱行为的潜力。
• 该方法具有可解释性，并基于心理学理论，通过时间与重复性的统计度量，建模了如小动作与节律性动作等行为。
• 本研究凸显了利用姿态估计与简单统计聚合，即使在数据有限的情况下，也能构建高效、轻量级特征用于情感计算的可行性。