[论文解读] The EMPATHIC Project: Mid-term Achievements

M. Inés Torres, Javier Mikel Olaso+27 more|arXiv (Cornell University)|May 5, 2021

Technology Use by Older Adults参考文献 35被引用 12

一句话总结

EMPATHIC项目开发了一位具有同理心的多模态虚拟教练，通过语音、面部和眼动追踪分析，支持老年人的积极老龄化。中期结果显示，成功集成了Wizard-of-Oz平台，实现了500毫秒延迟的低延迟自动语音识别（ASR），并获得了关于用户参与度、对话流程以及多语言、实时虚拟代理交互在老年人群中面临的技术挑战的洞察。

ABSTRACT

The goal of active aging is to promote changes in the elderly community so as to maintain an active, independent and socially-engaged lifestyle. Technological advancements currently provide the necessary tools to foster and monitor such processes. This paper reports on mid-term achievements of the European H2020 EMPATHIC project, which aims to research, innovate, explore and validate new interaction paradigms and platforms for future generations of personalized virtual coaches to assist the elderly and their carers to reach the active aging goal, in the vicinity of their home. The project focuses on evidence-based, user-validated research and integration of intelligent technology, and context sensing methods through automatic voice, eye and facial analysis, integrated with visual and spoken dialogue system capabilities. In this paper, we describe the current status of the system, with a special emphasis on its components and their integration, the creation of a Wizard of Oz platform, and findings gained from user interaction studies conducted throughout the first 18 months of the project.

研究动机与目标

• 开发个性化、富有同理心的虚拟教练，通过技术手段支持老年人维持积极、独立的生活方式。
• 将语音、面部和视线追踪分析等多种传感技术整合到面向老年人用户的响应式、实时对话系统中。
• 通过用户研究验证该系统，重点关注在多个欧洲国家的真实场景中，用户对系统的接受度、参与度和可用性。
• 解决自然流畅的人机对话挑战，特别是在激励健康老年人改变行为方面。
• 确保平台在安全性、可靠性与可扩展性方面满足家庭环境中多样化语言和文化需求的部署要求。

提出的方法

• 采用Wizard-of-Oz（WOZ）平台模拟实时虚拟代理交互，实现人机协同的受控用户研究。
• 开发ASR.online系统，基于GStreamer框架实现低延迟流式自动语音识别，将平均延迟降低至约500毫秒。
• 利用Kaldi ASpIRE模板，在1,574小时转录语音数据上训练西班牙语、法语和挪威语的多语言声学模型。
• 集成面部和眼动追踪分析模块，实现实时情绪与认知状态检测。
• 设计包含6种语言的多语言问卷，用于评估用户对虚拟代理的接受度和感知体验。
• 在西班牙、挪威、法国、意大利和英国对健康老年人（65岁及以上）开展实地试验，评估系统的可用性与交互质量。

实验结果

研究问题

• RQ1 如何通过语音、面部和眼动追踪数据，使多模态虚拟教练有效检测并响应老年人的情绪与认知状态？
• RQ2 哪些对话策略能增强老年人在虚拟教练互动中对参与度和同理心的感知？
• RQ3 欧洲各国之间的语言与文化差异如何影响用户对多语言虚拟教练的接受度与交互质量？
• RQ4 在基于网络的虚拟代理平台中，维持低延迟、安全且可靠的实时交互面临哪些技术挑战？
• RQ5 用户对虚拟代理的期望和既有观念在多大程度上影响其采纳意愿与参与积极性？

主要发现

• ASR.online系统实现了约500毫秒的平均延迟，显著提升了相比以往基于缓冲方法的实时响应能力。
• Wizard-of-Oz平台成功支持了受控用户研究，发现使用参与者自身话语的回应策略（如“你每天步行两小时吗？”）能有效提升对话流畅度与参与度。
• 参与者常因缺乏动力而难以展开个人目标讨论，导致对话简短；研究人员需手动引导话题至营养相关领域以维持互动。
• 问卷中“我不知道”类回答数量偏高，表明抽象或享乐性术语理解度较差，凸显了问卷措辞需更清晰、具体化的需求。
• 会话管理与远程技术支持中的技术问题导致延迟，表明未来部署需依赖本地化基础设施。
• 健康参与者中意外出现较高的抑郁评分，引发对部分量表有效性的担忧，提示需进一步研究适用于老年人群的测量工具。