[论文解读] See and Read: Detecting Depression Symptoms in Higher Education Students Using Multimodal Social Media Data

Paulo Mann, Aline Paes+1 more|arXiv (Cornell University)|Dec 3, 2019

Mental Health via Writing被引用 4

一句话总结

本研究提出了一种多模态机器学习方法，通过Instagram帖子检测高等教育阶段学生的严重抑郁症状，结合文本说明和视觉图像。采用深度学习（ELMo + ResNet-34）与特征工程模型，最佳融合模型在识别贝克抑郁量表评分≥20的学生时，召回率为0.92，精确率为0.69，表明利用社交媒体数据进行被动、可扩展的筛查具有潜力。

ABSTRACT

Mental disorders such as depression and anxiety have been increasing at alarming rates in the worldwide population. Notably, the major depressive disorder has become a common problem among higher education students, aggravated, and maybe even occasioned, by the academic pressures they must face. While the reasons for this alarming situation remain unclear (although widely investigated), the student already facing this problem must receive treatment. To that, it is first necessary to screen the symptoms. The traditional way for that is relying on clinical consultations or answering questionnaires. However, nowadays, the data shared at social media is a ubiquitous source that can be used to detect the depression symptoms even when the student is not able to afford or search for professional care. Previous works have already relied on social media data to detect depression on the general population, usually focusing on either posted images or texts or relying on metadata. In this work, we focus on detecting the severity of the depression symptoms in higher education students, by comparing deep learning to feature engineering models induced from both the pictures and their captions posted on Instagram. The experimental results show that students presenting a BDI score higher or equal than 20 can be detected with 0.92 of recall and 0.69 of precision in the best case, reached by a fusion model. Our findings show the potential of large-scale depression screening, which could shed light upon students at-risk.

研究动机与目标

• 开发一种可扩展的、被动的方法，利用社交媒体数据检测高等教育阶段学生的严重抑郁症状。
• 比较深度学习与特征工程模型在从多模态Instagram内容（文本和图像）中分类抑郁严重程度方面的有效性。
• 评估融合文本与视觉特征是否能提升检测性能，相较于单模态方法。
• 探索利用公开的社交媒体数据作为临床筛查代理的可行性，特别是针对可能不会寻求专业帮助的学生。
• 通过自动化、非侵入性分析用户生成内容，识别高风险学生，以支持早期干预。

提出的方法

• 从一所大型巴西大学的高等教育阶段学生中收集Instagram帖子（图像和文字说明）。
• 使用贝克抑郁量表（BDI）的葡萄牙语翻译版作为真实标签，BDI评分≥20表示严重抑郁。
• 训练三种深度学习模型：仅文本模型（ELMo）、仅图像模型（ResNet-34）以及多模态融合模型（拼接ELMo与ResNet-34特征）。
• 训练三种特征工程模型：仅文本模型（TF-IDF + 情感特征）、仅图像模型（预定义视觉描述符）以及多模态融合模型（拼接特征）。
• 使用精确率、召回率和F1分数评估模型性能，统计显著性通过McNemar检验评估。
• 采用注意力机制和迁移学习以提升多模态学习中的可解释性和性能。

实验结果

研究问题

• RQ1 对Instagram图像和文字进行多模态分析，能否有效检测大学生的严重抑郁症状？
• RQ2 在从多模态社交媒体数据中检测抑郁时，深度学习模型的性能与传统特征工程模型相比如何？
• RQ3 通过拼接融合文本与视觉特征，是否能提升检测准确率，相较于单模态模型？
• RQ4 在此情境下，文本特征与视觉特征在分类抑郁严重程度方面的相对贡献是什么？
• RQ5 通过社交媒体数据进行被动、自动化的筛查，能否作为在缺乏临床照护资源的人群中早期检测的可行替代方案？

主要发现

• 表现最佳的模型是结合ELMo与ResNet-34特征的深度多模态分类器，在识别BDI评分≥20的学生时，召回率为0.92，精确率为0.69。
• 在深度学习与特征工程方法中，仅文本模型的表现均优于仅图像模型，表明在此情境下，文本内容对抑郁检测更具信息量。
• 通过拼接融合视觉与文本特征，特征工程模型的性能下降，表明模态间需要更优的对齐技术。
• 深度学习模型通过迁移学习实现了具有竞争力的性能，并具备更好的泛化潜力，但以可解释性降低为代价。
• 本研究证实，多模态社交媒体数据可支持学术群体中被动、可扩展的抑郁筛查，尤其适用于那些可能不会寻求临床帮助的学生。
• 特征工程模型提供更好的可解释性，而深度学习模型则可通过迁移学习更轻松地适应新领域。