[论文解读] Social Skill Training with Large Language Models

Diyi Yang, Caleb Ziems+4 more|arXiv (Cornell University)|Apr 5, 2024

Topic Modeling被引用 5

一句话总结

Proposes APAM: a scalable AI Partner and AI Mentor framework for social skill training with large language models, focusing on safe deployment, evaluation, and domain grounding.

ABSTRACT

People rely on social skills like conflict resolution to communicate effectively and to thrive in both work and personal life. However, practice environments for social skills are typically out of reach for most people. How can we make social skill training more available, accessible, and inviting? Drawing upon interdisciplinary research from communication and psychology, this perspective paper identifies social skill barriers to enter specialized fields. Then we present a solution that leverages large language models for social skill training via a generic framework. Our AI Partner, AI Mentor framework merges experiential learning with realistic practice and tailored feedback. This work ultimately calls for cross-disciplinary innovation to address the broader implications for workforce development and social equality.

研究动机与目标

• 识别获取社交技能训练的障碍，并为需要可扩展解决方案提供动力。
• 介绍 APAM 框架（AI Partner 和 AI Mentor），将体验式练习与专家反馈相结合。
• 解释 AI Partner 的设计考量（一致性、现实感、课程设置）以及 AI Mentor 的设计考量（领域基础、情境化反馈）。
• 概述开发 APAM 系统的四步方法，并讨论安全性、评估以及更广泛的社会影响。

提出的方法

• 将社交技能训练定义为四步过程：理解潜在的社交过程、设计 AI Partner 模拟、创建 AI Mentor 以提供定制化反馈，并将其整合到安全的模拟环境中。
• 利用基于 LLM 的模拟来为 AI Partner 提供真实的练习情境。
• 采用具备领域基础的 AI Mentor 反馈，引用相关理论和框架（如动机式访谈、冲突解决等）。
• 提出整合检索增强生成（retrieval-augmented generation）和规划模块，以保持知识的基础性和时效性。
• 讨论安全连续体和部署模式，以在高风险领域管理风险。

实验结果

研究问题

• RQ1 如何设计 AI Partner 和 AI Mentor，使其提供真实、多样且安全的社交互动练习？
• RQ2 APAM 如何将体验式练习与基于理论的反馈结合起来，以提升学习效果？
• RQ3 为负责任地部署 APAM 系统，需要哪些安全性、评估和最终用户控制机制？
• RQ4 APAM 如何在不同领域（例如咨询、冲突解决、教育）中应用，预期有哪些可衡量的影响？

主要发现

• APAM 为社交技能的体验式学习和定制化反馈提供了可扩展的路径。
• AI Partner 的仿真使练习更真实，同时降低风险和获取门槛。
• AI Mentor 提供基于理论的、与情境和学习者状态相匹配的反馈。
• 安全模型提出基于连续体的部署模式，以在高风险领域实现负责任的使用。
• 示例展示 APAM 在 CARE（同伴辅导）、Rehearsal（冲突演练）和 GPTeach（教育）中的应用。
• 评估指引强调将内在 NLP 指标与外在、与领域相关的教育结果相结合。