[论文解读] Summarization of ICU Patient Motion from Multimodal Multiview Videos

Carlos Torres, Kenneth Rose+2 more|arXiv (Cornell University)|Jun 28, 2017

Human Pose and Action Recognition参考文献 17被引用 4

一句话总结

该论文提出DECU，一种多模态多视角深度学习系统，通过三台RGB-D摄像头自主监控并总结ICU患者运动。通过结合深度特征与改进的隐半马尔可夫模型，DECU在光照良好条件下实现85%的姿势历史总结准确率，在黑暗/遮挡场景下实现76%的准确率，通过基于关键帧的运动压缩实现78%的过渡分类准确率。

ABSTRACT

Clinical observations indicate that during critical care at the hospitals, patients sleep positioning and motion affect recovery. Unfortunately, there is no formal medical protocol to record, quantify, and analyze patient motion. There is a small number of clinical studies, which use manual analysis of sleep poses and motion recordings to support medical benefits of patient positioning and motion monitoring. Manual processes are not scalable, are prone to human errors, and strain an already taxed healthcare workforce. This study introduces DECU (Deep Eye-CU): an autonomous mulitmodal multiview system, which addresses these issues by autonomously monitoring healthcare environments and enabling the recording and analysis of patient sleep poses and motion. DECU uses three RGB-D cameras to monitor patient motion in a medical Intensive Care Unit (ICU). The algorithms in DECU estimate pose direction at different temporal resolutions and use keyframes to efficiently represent pose transition dynamics. DECU combines deep features computed from the data with a modified version of Hidden Markov Model to more flexibly model sleep pose duration, analyze pose patterns, and summarize patient motion. Extensive experimental results are presented. The performance of DECU is evaluated in ideal (BC: Bright and Clear/occlusion-free) and natural (DO: Dark and Occluded) scenarios at two motion resolutions in a mock-up and a real ICU. The results indicate that deep features allow DECU to match the classification performance of engineered features in BC scenes and increase the accuracy by up to 8% in DO scenes. In addition, the overall pose history summarization tracing accuracy shows an average detection rate of 85% in BC and of 76% in DO scenes. The proposed keyframe estimation algorithm allows DECU to reach an average 78% transition classification accuracy.

研究动机与目标

• 解决缺乏可扩展、自动化系统以监控和量化ICU患者运动与体位的问题。
• 开发一种非侵入式、自主的系统，实现在真实ICU环境中对患者姿势动态的长期、无干扰分析。
• 在低光照和部分遮挡等困难条件下提高运动总结的准确率，这些条件下传统方法会失效。
• 通过运动模式分析实现临床应用，如早期发现患者窘迫、预防压疮以及评估睡眠质量。
• 将深度特征与隐半马尔可夫模型结合，灵活建模姿势持续时间和过渡动态。

提出的方法

• DECU使用三台RGB-D摄像头在模拟环境和真实ICU环境中捕获ICU患者的多模态多视角视频数据。
• 通过卷积神经网络从RGB和深度流中提取深度特征，提高对光照和遮挡的鲁棒性。
• 采用关键帧估计算法通过识别捕捉姿势过渡的代表性帧来压缩运动序列。
• 系统采用改进的隐半马尔可夫模型（HSMM）建模姿势持续时间和过渡动态，多模态发射概率结合视觉和深度数据。
• 在训练期间使用基于密集光流的运动阈值来区分运动类型并减轻深度传感器噪声。
• 该框架支持两种时间分辨率：粗粒度用于姿势历史总结，细粒度用于过渡检测，实现多尺度分析。

实验结果

研究问题

• RQ1 与手工设计特征相比，深度特征是否能在低光照和遮挡的ICU环境中提升运动识别准确率？
• RQ2 在真实ICU条件下，自主系统对长期患者姿势序列的总结准确率如何？
• RQ3 在光照和遮挡条件恶劣的情况下，多模态多视角融合在多大程度上提升了姿势过渡检测的性能？
• RQ4 基于关键帧的压缩是否能有效表示复杂运动动态，同时保持临床相关性？
• RQ5 与标准HMM相比，改进的HSMM模型在患者运动分析中如何提升姿势持续时间估计的性能？

主要发现

• 在明亮清晰（BC）场景中，DECU实现85%的平均检测率；在黑暗遮挡（DO）场景中，实现76%的平均检测率，用于姿势历史总结。
• 在DO场景中，与工程特征相比，深度特征将分类准确率提高了最多8%，证明了其在可视性差条件下的鲁棒性。
• 基于关键帧的过渡分类实现78%的平均准确率，有效捕捉了运动动态，即使在传感器性能受限的情况下。
• 当患者背对摄像头（如背对摄像头）时，性能下降，尤其在单视角设置下，因视觉线索减少。
• 多视角融合在挑战性光照和遮挡条件下始终优于单视角配置，显著提升检测准确率。
• 该系统对光照变化、部分遮挡和视角变化具有鲁棒性，适用于真实ICU环境的部署。