[论文解读] Towards Explainable and Safe Conversational Agents for Mental Health: A Survey

Surjodeep Sarkar, Manas Gaur+4 more|arXiv (Cornell University)|Apr 25, 2023

Digital Mental Health InterventionsPsychology被引用 3

一句话总结

本综述提出了一套框架，通过整合临床知识、上下文理解与以用户为中心的设计，开发可解释、安全且可信的虚拟心理健康助手（VMHAs）。该框架强调基于临床指南（如PHQ-9）、动机性访谈和诊断访谈的问题/回答生成，以提升分诊准确性和用户信任度，同时解决部署过程中面临的伦理与实际挑战。

ABSTRACT

Virtual Mental Health Assistants (VMHAs) are seeing continual advancements to support the overburdened global healthcare system that gets 60 million primary care visits, and 6 million Emergency Room (ER) visits annually. These systems are built by clinical psychologists, psychiatrists, and Artificial Intelligence (AI) researchers for Cognitive Behavioral Therapy (CBT). At present, the role of VMHAs is to provide emotional support through information, focusing less on developing a reflective conversation with the patient. A more comprehensive, safe and explainable approach is required to build responsible VMHAs to ask follow-up questions or provide a well-informed response. This survey offers a systematic critical review of the existing conversational agents in mental health, followed by new insights into the improvements of VMHAs with contextual knowledge, datasets, and their emerging role in clinical decision support. We also provide new directions toward enriching the user experience of VMHAs with explainability, safety, and wholesome trustworthiness. Finally, we provide evaluation metrics and practical considerations for VMHAs beyond the current literature to build trust between VMHAs and patients in active communications.

研究动机与目标

• 为解决当前心理健康领域中对话式智能体缺乏上下文感知、可解释性与安全性的问题，识别现有VMHA系统中的关键缺口。
• 提出一种强调用户层面可解释性与安全性的心理健康对话分类体系，尤其关注主动式与反思性对话。
• 将临床知识（如PHQ-9、DSM-V）与结构化访谈技术（如动机性访谈、CDI）整合至VMHA设计中，以提升决策支持能力。
• 通过可解释性、安全机制与伦理数据处理方式提升VMHA的可信度，尤其在高风险心理健康分诊场景中。
• 提供超越现有基准的实用评估指标与设计考量，聚焦真实世界可用性与临床整合。

提出的方法

• 提出从低层级自然语言处理（词汇、句法）到高层级语篇与语用学的对话分类体系，重点关注可解释性与安全性。
• 将临床指南（如PHQ-9、DSM-V）整合至VMHA设计中，使回应基于循证心理健康评估框架。
• 倡导基于知识的对话智能体，利用基于已验证筛查工具的结构化问题生成技术，以检测心理健康状况。
• 融入动机性访谈（MI）技术，实现富有同理心、以用户为中心的对话，化解矛盾心理并支持行为改变。
• 提出实用的数据整理策略，如数据匿名化、数据抽象化与合成对话生成，以应对隐私与标注挑战。
• 推荐聚焦临床相关性、安全性与用户信任度的评估指标，超越标准NLP基准，以评估真实世界影响。

Figure 1: Taxonomy of Mental Health Conversations: While connecting dots in our investigation from NLP-centered low-level analysis (lexical, morphological, syntactic, semantic) over Mental health conversations to the higher-level analysis (discourses, pragmatics), we determine the evaluation metrics

实验结果

研究问题

• RQ1 在高风险分诊场景中，如何使心理健康对话智能体在用户层面更具可解释性与安全性？
• RQ2 当前VMHAs在响应生成与问题引导中，多大程度上未能整合临床知识（如PHQ-9、DSM-V）？
• RQ3 如何将动机性访谈（MI）原则适配至VMHAs中，以提升用户参与度与临床效果？
• RQ4 哪些实用的数据与模型设计策略可确保VMHA训练与部署过程中的隐私、质量与可信度？
• RQ5 需要哪些评估指标与框架，才能在标准NLP基准之外，有效评估VMHAs的临床安全性、可解释性与有效性？

主要发现

• 当前如Woebot、Wysa与ChatGPT等VMHAs在回应心理健康问题时常缺乏上下文依据，导致假设性或无关回应。
• 整合临床指南（如PHQ-9）的VMHAs能更准确检测心理健康异常，并触发对心理健康专业人员的适当警报。
• 基于已验证工具的结构化问题生成的知识驱动型智能体，在提升分诊可靠性与临床决策支持方面展现出潜力。
• 将动机性访谈（MI）技术融入可显著提升用户参与度，并通过反思性、同理心的方式化解矛盾心理，支持行为改变。
• 伦理数据实践——如数据匿名化、数据抽象化与合成数据生成——在保护用户隐私的同时，对构建可信VMHAs至关重要。
• 现有NLP评估指标不足以衡量VMHA的安全性与可解释性；需开发基于临床的新型指标，以支持真实世界部署。

Figure 2: (Left) The outcome from existing VMHAs (e.g., WoeBot, Wysa) and ChatGPT (general purpose chatbot). (Right) Illustration of a knowledge-driven conversational agent in mental health (desired VMHA). The use of questions in PHQ-9 to induce conceptual flow in mental health conversational agents