[论文解读] Towards Healthy AI: Large Language Models Need Therapists Too

Baihan Lin, Djallel Bouneffouf+2 more|arXiv (Cornell University)|Apr 2, 2023

Digital Mental Health Interventions被引用 11

一句话总结

论文提出 SafeguardGPT，一个四代理框架（Chatbot、User、Therapist、Critic），使用心理治疗启发的反馈来引导 LLM 聊天机器人实现安全、可信和道德的互动，通过一个工作中的社交对话示例进行演示。

ABSTRACT

Recent advances in large language models (LLMs) have led to the development of powerful AI chatbots capable of engaging in natural and human-like conversations. However, these chatbots can be potentially harmful, exhibiting manipulative, gaslighting, and narcissistic behaviors. We define Healthy AI to be safe, trustworthy and ethical. To create healthy AI systems, we present the SafeguardGPT framework that uses psychotherapy to correct for these harmful behaviors in AI chatbots. The framework involves four types of AI agents: a Chatbot, a "User," a "Therapist," and a "Critic." We demonstrate the effectiveness of SafeguardGPT through a working example of simulating a social conversation. Our results show that the framework can improve the quality of conversations between AI chatbots and humans. Although there are still several challenges and directions to be addressed in the future, SafeguardGPT provides a promising approach to improving the alignment between AI chatbots and human values. By incorporating psychotherapy and reinforcement learning techniques, the framework enables AI chatbots to learn and adapt to human preferences and values in a safe and ethical way, contributing to the development of a more human-centric and responsible AI.

研究动机与目标

• 将 Healthy AI 定义为人机交互中的安全、可信和道德。
• 识别有害 AI 聊天机器人行为的风险，例如操纵、煤气灯效应和自恋。
• 提出一个以心理治疗为基础的框架（SafeguardGPT），以使 AI 行为与人类价值观保持一致。
• 展示一个工作示例，说明治疗与批评如何改善聊天机器人回应。

提出的方法

• 定义一个四代理 SafeguardGPT 系统：Chatbot、User、Therapist、和 Critic。
• 描述四种情境：Chat Room、Therapy Room、Control Room、Evaluation Room。
• 将来自 Therapist、Moderator 和 Critic 的强化学习反馈信号映射到更新主 LLM 策略。
• 解释在-context 学习提示以及代理如何交互以产生更安全的回应。

实验结果

研究问题

• RQ1 如何将心理治疗的概念融入 AI 聊天机器人开发中，以减少有害行为？
• RQ2 带有治疗与批判的多代理框架是否能够提升 LLM 与人类价值观的一致性？
• RQ3 聊天、治疗、控制和评估室在塑造安全互动中的角色是什么？

主要发现

• SafeguardGPT 将四个 AI 代理结合起来，以指导安全和道德的人机互动。
• 该框架支持一个基于 RL 的更新循环，其中反馈信号充当类似奖励的信号用于策略改进。
• 一个基于四个 GPT-3.5 的代理的工作示例，显示在治疗后操控性、煤气灯效应和自恋倾向降低。
• 该方法可以在闭环中运行，并可集成人工 Moderator 以实现实时干预。
• 该框架与 RLHF 和 Constitutional AI 相关，同时强调 Healthy AI 的对齐以及以治疗驱动的纠正。