[论文解读] Outcome-Oriented Predictive Process Monitoring: Review and Benchmark

Irene Teinemaa, Marlon Dumas+2 more|arXiv (Cornell University)|Jul 21, 2017

Business Process Modeling and Analysis被引用 30

一句话总结

本文对来自9个真实事件日志的24个实际任务中的11种以结果为导向的预测流程监控方法进行了系统综述、分类体系构建与基准测试。研究发现，有损序列编码（如活动频率）优于无损基于索引的编码方式，能够实现跨所有轨迹长度的单模型训练，并获得更高的AUC得分。

ABSTRACT

Predictive business process monitoring refers to the act of making predictions about the future state of ongoing cases of a business process, based on their incomplete execution traces and logs of historical (completed) traces. Motivated by the increasingly pervasive availability of fine-grained event data about business process executions, the problem of predictive process monitoring has received substantial attention in the past years. In particular, a considerable number of methods have been put forward to address the problem of outcome-oriented predictive process monitoring, which refers to classifying each ongoing case of a process according to a given set of possible categorical outcomes - e.g., Will the customer complain or not? Will an order be delivered, canceled or withdrawn? Unfortunately, different authors have used different datasets, experimental settings, evaluation measures and baselines to assess their proposals, resulting in poor comparability and an unclear picture of the relative merits and applicability of different methods. To address this gap, this article presents a systematic review and taxonomy of outcome-oriented predictive process monitoring methods, and a comparative experimental evaluation of eleven representative methods using a benchmark covering 24 predictive process monitoring tasks based on nine real-life event logs.

研究动机与目标

• 解决以结果为导向的预测流程监控中因数据集、评估指标和基线不一致而导致的可比性不足问题。
• 基于轨迹分桶与序列编码的维度，系统性地回顾并分类现有方法。
• 建立统一基准，基于9个真实事件日志中的24项预测监控任务，实现方法间的公平比较。
• 在相同实验条件下，使用开源且可扩展的框架评估11种代表性方法。
• 识别影响模型性能的关键因素，包括概念漂移和特征工程选择。

提出的方法

• 通过系统文献综述识别出11种具有代表性的以结果为导向的预测流程监控方法。
• 提出一种基于两个维度的分类体系：轨迹分桶方法（如基于长度的分桶 vs. 不分桶）和序列编码方法（如基于索引的编码 vs. 基于频率的编码）。
• 在统一的开源框架中实现全部11种方法，以确保在全部24项任务中评估的一致性。
• 使用真实事件日志构建24项预测监控任务，每项任务均包含前缀轨迹和最终案例结果。
• 应用标准评估指标（如AUC）并进行统计分析以比较方法性能。
• 通过统计检验和漂移检测技术评估数据属性中的概念漂移，以评估模型鲁棒性。

实验结果

研究问题

• RQ1 在以结果为导向的流程监控中，哪种序列编码策略（有损 vs. 无损）能带来更高的预测准确性？
• RQ2 轨迹分桶策略的选择如何影响模型性能及在不同轨迹长度上的泛化能力？
• RQ3 事件日志属性中的概念漂移在多大程度上影响预测监控模型的性能？
• RQ4 是否可以使用在所有前缀长度上训练的单一分类器，超越在长度分桶子集上训练的模型？
• RQ5 案例间特征和文本属性如何影响预测性能？未来在这些方面存在哪些扩展机会？

主要发现

• 有损序列编码（如活动频率）获得的AUC得分高于无损基于索引的编码方式，因其使单一分类器能够从所有轨迹长度中学习。
• 在所有前缀长度上使用统一分类器的性能优于基于长度分桶的方法，后者需要多个模型且泛化能力较差。
• 在九个数据集中的两个检测到概念漂移，且这些漂移显著降低了所有评估方法的性能，凸显了实际应用中引入漂移检测的必要性。
• 尽管文本挖掘技术近年来取得进展，现有方法仍大多忽略文本属性，这为扩展特征工程能力提供了潜在机会。
• 案例间特征（如开放案例数量）被严重低估，表明通过更丰富的上下文建模可显著提升模型准确性。
• 尽管LSTM模型在下一活动预测和剩余时间预测中表现优异，但其在结果预测中的应用仍被严重低估，提示未来研究具有广阔前景。