[论文解读] PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection

Tao Yang, Tianyuan Shi+5 more|arXiv (Cornell University)|Oct 31, 2023

Mental Health via Writing被引用 6

一句话总结

本文提出 PsyCoT，一种新颖的零样本人格检测方法，通过将心理问卷作为思维链（CoT）推理步骤，引导大型语言模型（LLMs）从文本中推断人格特质。通过提示 LLM 以多轮对话形式对问卷中的各项进行评分，PsyCoT 提升了推理的准确性和鲁棒性，在两个基准数据集上相较于标准提示方法，F1 分数提升了 4.23–10.63，甚至优于部分微调模型。

ABSTRACT

Recent advances in large language models (LLMs), such as ChatGPT, have showcased remarkable zero-shot performance across various NLP tasks. However, the potential of LLMs in personality detection, which involves identifying an individual's personality from their written texts, remains largely unexplored. Drawing inspiration from Psychological Questionnaires, which are carefully designed by psychologists to evaluate individual personality traits through a series of targeted items, we argue that these items can be regarded as a collection of well-structured chain-of-thought (CoT) processes. By incorporating these processes, LLMs can enhance their capabilities to make more reasonable inferences on personality from textual input. In light of this, we propose a novel personality detection method, called PsyCoT, which mimics the way individuals complete psychological questionnaires in a multi-turn dialogue manner. In particular, we employ a LLM as an AI assistant with a specialization in text analysis. We prompt the assistant to rate individual items at each turn and leverage the historical rating results to derive a conclusive personality preference. Our experiments demonstrate that PsyCoT significantly improves the performance and robustness of GPT-3.5 in personality detection, achieving an average F1 score improvement of 4.23/10.63 points on two benchmark datasets compared to the standard prompting method. Our code is available at https://github.com/TaoYang225/PsyCoT.

研究动机与目标

• 探索大型语言模型（LLMs）在从文本数据中进行零样本人格检测方面的潜力，尽管 LLM 具备强大的零样本能力，但该领域仍研究不足。
• 通过引入受心理评估工具启发的结构化推理过程，解决标准提示在人格检测中的局限性。
• 通过建模人类人格测试的多步推理过程，提升基于 LLM 的人格推断的准确性和鲁棒性。
• 证明精心设计的问卷可作为有效的思维链提示，使 LLM 实现与微调模型相当的性能。

提出的方法

• PsyCoT 将人格检测建模为多轮对话，其中 LLM 作为 AI 助手，根据作者的文本对心理问卷中的各项进行评分。
• 每轮对话中，向 LLM 提供单个问卷项目，LLM 根据文本内容分配评分，模拟人类自我评估过程。
• 通过标准问卷规则聚合历史评分序列，计算出总体特质得分，从而指导最终的人格预测。
• 该方法利用上下文学习，无需参数更新，仅依赖于以结构化心理问卷项目作为 CoT 步骤的提示工程。
• 该框架支持零样本提示和鲁棒性测试，通过扰动选项顺序和回答序列来评估稳定性。
• 该方法在两个数据集（Essays 和 Kaggle）上进行评估，使用两种人格模型：大五人格和 MBTI。

实验结果

研究问题

• RQ1 心理问卷能否被有效重用于作为思维链推理步骤，以提升基于 LLM 的人格检测性能？
• RQ2 使用问卷项目进行多轮对话提示的策略，是否相比单轮或标准提示能带来更好的性能？
• RQ3 PsyCoT 在零样本人格检测中与微调模型相比表现如何？
• RQ4 PsyCoT 在多大程度上提升了对提示扰动（如答案选项重排）的鲁棒性？
• RQ5 输入帖子的顺序是否会影响基于提示的人格检测方法（如 PsyCoT）的性能？

主要发现

• 在 Essays 和 Kaggle 数据集上，PsyCoT 分别相较于标准提示方法实现了平均 F1 分数 4.23 和 10.63 的提升。
• 在 Essays 数据集上，PsyCoT 在大多数人格特质上优于多个微调模型，表明其在微调范式中具备强大的竞争力。
• 消融研究显示，与单轮提示相比，多轮对话格式显著提升了推理准确性。
• 在选项顺序扰动的鲁棒性测试中，PsyCoT 展现出最高的不变率（92.0%），优于其他基于提示的方法。
• 在 Kaggle 数据集中，打乱帖子顺序会影响大多数特质的预测结果，表明即使对于 PsyCoT，输入序列仍是敏感因素。
• 该方法表现出强鲁棒性和可靠性，表明来自心理问卷的结构化 CoT 可增强 LLM 推理的稳定性。