[论文解读] Supervised Learning and Large Language Model Benchmarks on Mental Health Datasets: Cognitive Distortions and Suicidal Risks in Chinese Social Media

Hongzhi Qi, Qing Zhao+10 more|arXiv (Cornell University)|Sep 7, 2023

Mental Health via Writing被引用 6

一句话总结

本论文引入了两个新的专家标注中文社交媒体数据集，分别用于认知扭曲和自杀风险分类，并评估了监督学习与大型语言模型（LLMs）如GPT-3.5和GPT-4在零样本、少样本和微调策略下的表现。GPT-4在各项任务中均持续优于其他模型，而微调显著提升了GPT-3.5在自杀风险分类中的表现，凸显了LLMs在细微心理文本分析中的潜力，同时也揭示了其局限性。

ABSTRACT

On social media, users often express their personal feelings, which may exhibit cognitive distortions or even suicidal tendencies on certain specific topics. Early recognition of these signs is critical for effective psychological intervention. In this paper, we introduce two novel datasets from Chinese social media: SOS-HL-1K for suicidal risk classification and SocialCD-3K for cognitive distortions detection. The SOS-HL-1K dataset contained 1,249 posts and SocialCD-3K dataset was a multi-label classification dataset that containing 3,407 posts. We propose a comprehensive evaluation using two supervised learning methods and eight large language models (LLMs) on the proposed datasets. From the prompt engineering perspective, we experimented with two types of prompt strategies, including four zero-shot and five few-shot strategies. We also evaluated the performance of the LLMs after fine-tuning on the proposed tasks. The experimental results show that there is still a huge gap between LLMs relying only on prompt engineering and supervised learning. In the suicide classification task, this gap is 6.95% points in F1-score, while in the cognitive distortion task, the gap is even more pronounced, reaching 31.53% points in F1-score. However, after fine-tuning, this difference is significantly reduced. In the suicide and cognitive distortion classification tasks, the gap decreases to 4.31% and 3.14%, respectively. This research highlights the potential of LLMs in psychological contexts, but supervised learning remains necessary for more challenging tasks. All datasets and code are made available.

研究动机与目标

• 为解决中文社交媒体中细粒度心理健康NLP资源的缺乏，特别是针对认知扭曲和自杀风险问题。
• 评估监督学习与大型语言模型（LLMs）在这些新数据集上的相对有效性。
• 研究提示工程策略（零样本、少样本和微调）对LLMs在心理文本分类中表现的影响。
• 提供对LLMs在识别心理语境下细微情感线索方面优势与局限的心理学见解。
• 发布开源数据集与代码，以支持未来心理健康NLP与自杀预防研究。

提出的方法

• 从新浪微博评论中构建了两个新颖的、由专家标注的数据集，分别聚焦于认知扭曲和自杀风险分类。
• 设计了一个全面的基准测试，比较传统监督学习模型与LLMs（GPT-3.5、GPT-4、ChatGLM2-6B、GLM-130B）在三种提示策略（零样本、少样本和微调）下的表现。
• 对于LLMs，零样本使用直接提示模板；少样本采用少量标注样本作为示范；微调则在完整训练集上进行微调。
• 使用标准NLP指标（如F1值、精确率和召回率）评估模型性能，并进行显著性检验。
• 对模型预测结果进行心理学解读，以评估其与认知扭曲和自杀意念临床理解的一致性。
• 所有数据集与代码均通过GitHub发布，以确保可复现性与社区再利用。

Figure 1: Typical examples of true labels versus GPT-4 predicted labels in cognitive distortion.

实验结果

研究问题

• RQ1 大型语言模型（LLMs）在中文社交媒体文本中对认知扭曲和自杀风险分类的表现，相较于监督学习模型如何？
• RQ2 微调是否能提升LLMs在心理健康分类任务中的表现，特别是针对复杂或细微的情感线索？
• RQ3 零样本和少样本提示策略在无需任务特定微调的情况下，使LLMs泛化到心理健康文本的有效性如何？
• RQ4 LLMs在区分心理健康相关语言中细微情感差异方面存在哪些心理学局限性？
• RQ5 模型规模与架构在这些心理敏感NLP任务中的表现中起到多大影响？

主要发现

• GPT-4在认知扭曲和自杀风险分类任务中均表现出一致的优异性能，优于其他模型。
• GPT-3.5在微调后于自杀风险分类任务中表现显著提升，表明微调可显著增强LLMs在特定心理健康任务中的性能。
• 少样本提示并未持续提升性能，表明仅在提示中添加示例不足以应对复杂的心理分类任务。
• 监督学习与LLMs之间的性能差距依然显著，尤其是在细粒度认知扭曲检测方面，表明LLMs尚不能成为通用替代方案。
• 模型性能高度依赖于任务复杂度与模型规模，更大的模型（如GPT-4）在处理细微语言线索方面表现出更强的鲁棒性。
• 本研究证实，尽管LLMs前景广阔，但在准确捕捉细微心理状态方面仍面临挑战，尤其当差异极为微妙时。