[论文解读] Understanding the Therapeutic Relationship between Counselors and Clients in Online Text-based Counseling using LLMs

Anqi Li, Yu Lu+4 more|arXiv (Cornell University)|Feb 19, 2024

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用 3

一句话总结

本文提出了一种基于大语言模型（LLM）的自动评估框架，用于评估在线文本心理咨询中的工作联盟，采用全面的指南和思维链（Chain-of-Thought）提示技术，使 LLM 输出与人类专家判断保持一致。该方法与人类评估结果高度一致，显示出 LLM 作为心理健康咨询中监督工具的潜力。

ABSTRACT

Robust therapeutic relationships between counselors and clients are fundamental to counseling effectiveness. The assessment of therapeutic alliance is well-established in traditional face-to-face therapy but may not directly translate to text-based settings. With millions of individuals seeking support through online text-based counseling, understanding the relationship in such contexts is crucial. In this paper, we present an automatic approach using large language models (LLMs) to understand the development of therapeutic alliance in text-based counseling. We adapt a theoretically grounded framework specifically to the context of online text-based counseling and develop comprehensive guidelines for characterizing the alliance. We collect a comprehensive counseling dataset and conduct multiple expert evaluations on a subset based on this framework. Our LLM-based approach, combined with guidelines and simultaneous extraction of supportive evidence underlying its predictions, demonstrates effectiveness in identifying the therapeutic alliance. Through further LLM-based evaluations on additional conversations, our findings underscore the challenges counselors face in cultivating strong online relationships with clients. Furthermore, we demonstrate the potential of LLM-based feedback mechanisms to enhance counselors' ability to build relationships, supported by a small-scale proof-of-concept.

研究动机与目标

• 解决在线心理健康咨询中人工评估成本高且主观性强的问题。
• 开发一种自动化的第三方工作联盟评估方法，确保客观性与可扩展性。
• 通过专家设计的指南和思维链提示技术，提升 LLM 在评估咨询质量方面的表现。
• 基于人工标注数据验证基于 LLM 的评估方法，评估其可靠性与可解释性。
• 探索 LLM 在心理治疗师临床培训与监督中的潜在应用价值。

提出的方法

• 作者从一个在线平台收集了一个大规模的基于文本的心理咨询数据集，包含咨询师与来访者自评的工作联盟评分。
• 基于 Bordin 的治疗关系理论，开发了工作联盟量表（WAI）的观察者版本，每个维度（目标、任务、联结）设有四个详细问题。
• 专家标注员对部分会话进行标注，采用五级证据评估标准：充分反对证据、部分反对证据、无反对证据、部分支持证据、充分支持证据。
• 使用这些指南对 GPT-4 等 LLM 进行微调，以提升其在多轮对话中对工作联盟的评估准确性。
• 引入思维链（Chain-of-Thought, CoT）提示技术，增强 LLM 从对话中提取并解释证据的能力，提升评估结果的可解释性与一致性。
• 通过与人工标注结果对比，对框架进行验证，结果显示评估一致性高，且使用 LLM 提取的证据可提升人工标注的一致性。

实验结果

研究问题

• RQ1 LLM 是否能通过专家设计的指南被有效引导，在在线心理咨询中实现高可靠性的工作联盟评估？
• RQ2 思维链提示如何提升基于 LLM 的心理咨询评估的可解释性与准确性？
• RQ3 基于 LLM 的评估在多大程度上与人类专家对治疗联盟的评估保持一致？
• RQ4 LLM 提取的证据在多大程度上能提升人工标注在心理咨询评估中的一致性与质量？
• RQ5 LLM 在心理健康咨询培训与质量保障中作为监督工具的潜力如何？

主要发现

• 基于 LLM 的评估方法与人类专家评估结果高度一致，显示出在评估工作联盟方面具有强大的可靠性与有效性。
• 专家设计的指南显著提升了 GPT-4 在评估咨询会话中的表现，确保了内部一致性并符合人类判断标准。
• 思维链提示使 LLM 能够识别并提取对话中的支持性证据，提升了评分的可解释性与合理性。
• LLM 提取的证据显著提升了人工标注者之间的一致性，表明 LLM 可作为人类评估流程中的有力辅助工具。
• 该方法提供了一种成本低、可扩展且公正的替代方案，相较于传统人工评估，具有在临床监督与培训中广泛应用的潜力。
• 本研究证实，LLM 可被有效用于心理咨询质量的自动、第三方评估，尤其在工作联盟等关系性动态方面具有显著优势。