[论文解读] Process Progress Estimation and Phase Detection.

Xinyu Li, Yanyi Zhang+8 more|arXiv (Cornell University)|Feb 28, 2017

Time Series Analysis and Forecasting被引用 1

一句话总结

本论文提出了一种基于传感器的实时系统，采用多模态深度学习与一种新颖的深度回归架构，用于估计流程完整性、检测流程阶段并预测顺序流程中的剩余时间。该系统在创伤复苏过程中实现了超过86%的阶段检测准确率和低于12.6%的完整性估计误差，在奥运会游泳赛事中实现了88%的准确率与6.3%的估计误差。

ABSTRACT

Process modeling and understanding are fundamental for advanced human-computer interfaces and automation systems. Most recent research has focused on activity recognition, but little has been done on sensor-based detection of process progress. We introduce a real-time, sensor-based system for modeling, recognizing and estimating the progress of a work process. We implemented a multimodal deep learning structure to extract the relevant spatio-temporal features from multiple sensory inputs and used a novel deep regression structure for overall completeness estimation. Using process completeness estimation with a Gaussian mixture model, our system can predict the phase for sequential processes. The performance speed, calculated using completeness estimation, allows online estimation of the remaining time. To train our system, we introduced a novel rectified hyperbolic tangent (rtanh) activation function and conditional loss. Our system was tested on data obtained from the medical process (trauma resuscitation) and sports events (Olympic swimming competition). Our system outperformed the existing trauma-resuscitation phase detectors with a phase detection accuracy of over 86%, an F1-score of 0.67, a completeness estimation error of under 12.6%, and a remaining-time estimation error of less than 7.5 minutes. For the Olympic swimming dataset, our system achieved an accuracy of 88%, an F1-score of 0.58, a completeness estimation error of 6.3% and a remaining-time estimation error of 2.9 minutes.

研究动机与目标

• 开发一种基于传感器的实时系统，用于建模和估计顺序工作流程中的流程进度。
• 解决与活动识别相比，基于传感器的流程进度检测研究关注度不足的问题。
• 通过完整性估计实现在线剩余时间估计，以提升自动化与人机交互能力。
• 提升复杂、时间敏感流程（如创伤复苏和奥运会游泳）中的阶段检测准确率与完整性估计精度。

提出的方法

• 系统采用多模态深度学习结构，从多种感官输入中提取时空特征。
• 使用一种新颖的深度回归网络进行整体流程完整性估计。
• 将流程完整性估计与高斯混合模型结合，以预测顺序流程中的阶段转换。
• 引入修正双曲正切（rtanh）激活函数与条件损失，以提升训练效率与模型性能。
• 基于计算出的完整性与进度速度，实现实时在线剩余时间估计。
• 在创伤复苏与奥运会游泳赛事的真实世界数据上评估该框架，以验证其鲁棒性与准确性。

实验结果

研究问题

• RQ1 基于传感器的系统在创伤复苏与奥运会游泳等顺序流程中，阶段检测的准确率如何？
• RQ2 基于深度学习的完整性估计模型在实时预测流程进度方面的表现如何？
• RQ3 能否通过完整性与进度速度指标实现可靠的剩余时间估计？
• RQ4 与标准方法相比，所提出的rtanh激活函数与条件损失在模型训练与预测准确率方面有何改进？
• RQ5 该系统在多样化的高风险顺序流程中是否具备良好的可泛化能力？

主要发现

• 该系统在创伤复苏数据集上实现了86.1%的阶段检测准确率，F1值为0.67。
• 创伤复苏的完整性估计误差低于12.6%，奥运会游泳的估计误差为6.3%。
• 创伤复苏的剩余时间估计误差小于7.5分钟，奥运会游泳的误差为2.9分钟。
• 与现有创伤复苏阶段检测器相比，本系统在阶段检测准确率与估计可靠性方面表现更优。
• 引入rtanh激活函数与条件损失显著提升了训练稳定性与模型性能。
• 该系统在不同领域（包括医疗与运动流程）中表现出强大的泛化能力，且误差率保持一致且较低。