[论文解读] Personalized Behaviour Models: A Survey Focusing on Autism Therapy Applications

Michał Stolarz, Alex Mitrevski+2 more|arXiv (Cornell University)|May 18, 2022

Autism Spectrum Disorder Research被引用 4

一句话总结

本综述提出对自闭症谱系障碍（ASD）儿童机器人辅助治疗（RAT）中个性化行为模型的全面分析，聚焦于交互式机器学习（IML）技术——即从指导和反馈中学习——以实现机器人自主适应个体儿童的行为。主要贡献在于对社会行为、任务难度和参与度三个维度的个性化方法进行了对比评估，识别出从反馈中学习和混合学习是最适合现实世界自闭症治疗应用的方法，具有更快的收敛速度并减少了对专家监督的依赖。

ABSTRACT

Children with Autism Spectrum Disorder find robots easier to communicate with than humans. Thus, robots have been introduced in autism therapies. However, due to the environmental complexity, the used robots often have to be controlled manually. This is a significant drawback of such systems and it is required to make them more autonomous. In particular, the robot should interpret the child's state and continuously adapt its actions according to the behaviour of the child under therapy. This survey elaborates on different forms of personalized robot behaviour models. Various approaches from the field of Human-Robot Interaction, as well as Child-Robot Interaction, are discussed. The aim is to compare them in terms of their deficits, feasibility in real scenarios, and potential usability for autism-specific Robot-Assisted Therapy. The general challenge for algorithms based on which the robot learns proper interaction strategies during therapeutic games is to increase the robot's autonomy, thereby providing a basis for a robot's decision-making.

研究动机与目标

• 分析并比较人机交互（HRI）中用于自闭症治疗的个性化行为模型。
• 评估不同个性化技术（尤其是从反馈和指导中学习）在自闭症儿童真实世界机器人辅助治疗（RAT）场景中的可行性与可用性。
• 识别在长期治疗中部署自主、自适应机器人所面临的关键挑战，包括对人类监督的依赖、策略收敛缓慢以及跨用户泛化问题。
• 为未来开发能够实时个性化治疗内容并响应儿童注意力分散或动机下降的自主机器人提供指导。
• 提出未来工作方向，聚焦于利用主动学习和混合学习（反馈+指导）实现快速收敛、预训练的行为模型，以提升治疗效果。

提出的方法

• 本综述分析了18项关于HRI中个性化机器人行为模型的代表性研究，按个性化方面（如社会行为、任务难度）和学习方法（从反馈或指导中学习）进行分类。
• 基于学习算法类型（如Q-learning、贝叶斯网络、最近邻、逆强化学习）、所用特征（如参与度、游戏进度、注视、语音）以及是否展示了长期运行（>1周），对每种方法进行评估。
• 通过结构化对比表（表I）比较各项技术在自主性、对监督者错误的鲁棒性、收敛速度以及跨用户泛化能力方面的表现。
• 该方法包括识别现有方法的缺陷，如缺乏长期测试、对专家监督的依赖以及学习速度缓慢，并提出混合学习（反馈+指导）作为解决方案。
• 综述借鉴了HRI文献中的现有分类体系（如用户模型类型：静态与动态），以组织分析并评估其在自闭症治疗中的适用性。
• 提出未来工作方向，开发一种利用主动学习和策略预训练的机器人，以实现在个体儿童技能和情绪状态上的快速、个性化适应。

实验结果

研究问题

• RQ1 在自闭症儿童机器人辅助治疗中，哪些个性化技术最适合现实世界部署？
• RQ2 从反馈中学习与从指导中学习的方法在长期治疗会话中的鲁棒性、收敛速度和适应性方面如何比较？
• RQ3 在部署自主、个性化行为模型于自闭症治疗机器人时，关键挑战是什么，特别是对监督的依赖性和跨用户泛化问题？
• RQ4 混合学习方法（结合反馈和指导）能否提升治疗机器人中策略学习的可靠性和速度？
• RQ5 如何设计个性化行为模型，以实时检测并响应儿童的注意力分散或动机下降？

主要发现

• 从反馈中学习比从指导中学习更具可行性，适用于长期、现实世界的自闭症治疗，因为它减少了对人类监督的依赖，并支持自主探索。
• 在所调查的18种方法中，仅有3种展示了长期运行（>1周），表明个性化行为模型在现实世界验证方面存在显著缺口。
• 混合学习方法（如结合反馈和指导）被发现可提高对监督者错误的鲁棒性并加速策略收敛，如[27]和[41]等研究所示。
• 在自闭症治疗中最有效的个性化维度是社会行为和任务难度，其中社会行为的个性化对维持参与度尤其具有影响。
• 在模拟用户交互上预训练策略可显著减少实现收敛所需的现实交互次数，从而解决现实治疗环境中学习速度慢的挑战。
• 逆强化学习和基于模型的强化学习在捕捉复杂用户偏好和情绪状态方面展现出潜力，尽管它们需要仔细的特征工程，且在长期场景中仍较少被验证。