[论文解读] State of the Art of Audio- and Video-Based Solutions for AAL

Slaviša Aleksić, Michael Atanasov+37 more|arXiv (Cornell University)|Jun 26, 2022

Context-Aware Activity Recognition Systems被引用 5

一句话总结

本文对基于音频和视频的环境辅助生活（AAL）解决方案进行了全面的最新技术综述，涵盖九个关键应用领域，包括生命体征监测、情绪识别、跌倒检测和认知康复。文章整合了科学进展、现有产品及正在进行的研究项目，识别出在老龄化与健康监测的多模态传感领域中的开放性挑战和未来研究方向。

ABSTRACT

The report illustrates the state of the art of the most successful AAL applications and functions based on audio and video data, namely (i) lifelogging and self-monitoring, (ii) remote monitoring of vital signs, (iii) emotional state recognition, (iv) food intake monitoring, activity and behaviour recognition, (v) activity and personal assistance, (vi) gesture recognition, (vii) fall detection and prevention, (viii) mobility assessment and frailty recognition, and (ix) cognitive and motor rehabilitation. For these application scenarios, the report illustrates the state of play in terms of scientific advances, available products and research project. The open challenges are also highlighted.

研究动机与目标

• 分析环境辅助生活（AAL）领域中基于音频和视频技术的最新技术现状。
• 识别利用音频和视频数据在AAL中最为成功的应用和功能。
• 评估AAL领域中科学进展、现有商业产品及正在进行的研究项目。
• 突出多模态传感在老年护理与健康监测中的开放性挑战和未来研究方向。
• 为AAL领域的研究人员和开发者提供一份整合性参考，重点关注实际应用性和技术成熟度。

提出的方法

• 对AAL应用领域中的科学文献、研究项目及商业产品的系统性综述。
• 基于音频和视频数据，将AAL功能划分为九个核心应用领域。
• 分析不同AAL场景中技术方法、性能指标及部署环境。
• 整合来自38位来自不同研究和产业背景的作者的见解，以确保跨学科覆盖。
• 评估技术成熟度、隐私考量及解决方案在真实世界中的可行性。
• 采用结构化报告方法，比较不同应用领域中科学进展、产品可用性及研究项目状态。

实验结果

研究问题

• RQ1 目前基于音频和视频的环境辅助生活（AAL）应用中，哪些技术最为成熟且有效？
• RQ2 当前系统在利用音频和视频数据监测生命体征、情绪和身体活动方面表现如何？
• RQ3 哪些关键技术与伦理挑战限制了AAL解决方案在真实世界中的部署？
• RQ4 哪些AAL应用领域在科学进展和产品开发方面表现最为显著？
• RQ5 AAL领域中，研究原型与商业化系统之间存在哪些差距？

主要发现

• 基于音频和视频的系统在使用非接触式方法（如多普勒雷达和基于摄像头的光电容积脉搏波描记法）进行远程生命体征监测方面已取得显著成功。
• 从音频和视频中进行情绪识别虽具前景，但仍受限于表情差异和文化差异带来的挑战。
• 基于视频和音频的跌倒检测系统在受控环境中可实现高精度，但推广至真实世界环境仍具挑战。
• 生活记录和自我监测应用日益普及，尤其在慢性病管理和独立生活支持方面。
• 利用视频反馈和手势识别进行认知与运动康复，可显著提升患者参与度和康复效果。
• 尽管已有进展，隐私、数据安全和伦理问题仍是AAL技术广泛部署的主要障碍。