[论文解读] Time Matters: Time-Aware LSTMs for Predictive Business Process Monitoring

An Nguyen, Srijeet Chatterjee+4 more|arXiv (Cornell University)|Oct 2, 2020

Business Process Modeling and Analysis参考文献 18被引用 6

一句话总结

本文提出时间感知LSTM（T-LSTM），通过显式建模事件之间经过的时间，提升预测性业务流程监控的性能，同时改进下一项活动和时间戳的预测。通过将时间间隔整合到LSTM单元状态中，并应用代价敏感学习以处理类别不平衡问题，该方法在基准日志上的准确率和平均绝对误差（MAE）均优于原始LSTM基线模型。

ABSTRACT

Predictive business process monitoring (PBPM) aims to predict future process behavior during ongoing process executions based on event log data. Especially, techniques for the next activity and timestamp prediction can help to improve the performance of operational business processes. Recently, many PBPM solutions based on deep learning were proposed by researchers. Due to the sequential nature of event log data, a common choice is to apply recurrent neural networks with long short-term memory (LSTM) cells. We argue, that the elapsed time between events is informative. However, current PBPM techniques mainly use 'vanilla' LSTM cells and hand-crafted time-related control flow features. To better model the time dependencies between events, we propose a new PBPM technique based on time-aware LSTM (T-LSTM) cells. T-LSTM cells incorporate the elapsed time between consecutive events inherently to adjust the cell memory. Furthermore, we introduce cost-sensitive learning to account for the common class imbalance in event logs. Our experiments on publicly available benchmark event logs indicate the effectiveness of the introduced techniques.

研究动机与目标

• 通过将事件之间经过的时间整合到深度学习模型中，提升预测性业务流程监控（PBPM）的性能。
• 解决事件日志中常见的类别不平衡问题，该问题常导致活动预测性能偏差。
• 开发一种原生将时间间隔整合到记忆单元更新中的时间感知LSTM变体（T-LSTM）。
• 评估T-LSTM与代价敏感学习在真实世界基准事件日志上的有效性。
• 证明时间感知建模可显著提升下一项活动与下一项时间戳预测的准确性。

提出的方法

• 提出T-LSTM，一种改进的LSTM单元，通过借鉴Baytas等人（2016）的工作，将连续事件之间的时间间隔纳入细胞状态更新。
• 修改标准LSTM更新方程，引入时间依赖的门控调制，使记忆状态能根据时间间隔进行更新。
• 在损失函数中应用代价敏感学习，对少数类活动的误分类施加更大惩罚，以缓解事件日志中类别分布偏斜的问题。
• 对活动特征使用独热编码和嵌入表示，并按照先前工作（Tax等人，2018）计算时间控制流特征。
• 采用多任务学习设置，通过共享编码器层联合预测下一项活动与下一项时间戳。
• 使用TensorFlow 2.1训练模型，结合超参数调优与多次随机初始化，以确保结果稳定性。

实验结果

研究问题

• RQ1 将事件之间经过的时间整合到LSTM单元中，是否能提升业务流程监控中的预测性能？
• RQ2 所提出的T-LSTM架构是否在下一项活动与时间戳预测任务中优于标准的原始LSTM模型？
• RQ3 代价敏感学习在多大程度上缓解了事件日志数据中因类别不平衡导致的性能下降？
• RQ4 T-LSTM与代价敏感学习的结合在不同基准数据集上对预测准确性有何影响？
• RQ5 时间感知建模的优势是否在时间戳预测中比在活动预测中更为显著？

主要发现

• 在Helpdesk数据集上，T-LSTM在下一项活动预测中的准确率达到0.724，在BPI12W数据集上达到0.778，分别优于基线模型0.012和0.018。
• 在下一项时间戳预测中，Tax+CS+T-LSTM方法将MAE降低至Helpdesk数据集的2.94天、BPI12W数据集的0.90天，优于基线模型（分别为3.75天和1.56天），表现出持续改进。
• 代价敏感学习与T-LSTM的结合取得了最佳结果，表明两种技术对实现最优性能均至关重要。
• T-LSTM在时间戳预测中的效果明显优于活动预测，表明时间建模在回归任务中尤为关键。
• Tax+CS+T-LSTM方法在所有任务与数据集上均表现最佳，证实了时间感知建模与类别不平衡处理的协同增效作用。
• 结果表明，将领域特定特征（如时间间隔）直接整合到神经网络层中，可显著提升PBPM中的预测建模性能。