[论文解读] Process Mining for Unstructured Data: Challenges and Research Directions

Agnes Koschmider, Milda Aleknonytė‐Resch+8 more|arXiv (Cornell University)|Nov 30, 2023

Business Process Modeling and Analysis被引用 7

一句话总结

本文识别了将流程挖掘应用于非结构化数据（如视频、传感器流和音频）所面临的若干关键挑战，并提出了一套五步分析流水线，将此类数据转化为适合流程挖掘的事件日志。文中提出了五个关键研究方向：结合领域知识的混合建模、实现全面洞察的数据融合、高级可视化、可解释人工智能（XAI）的整合，以及伦理与法律框架的构建，将非结构化数据上的流程挖掘定位为一项变革性但尚未充分探索的流程分析前沿领域。

ABSTRACT

The application of process mining for unstructured data might significantly elevate novel insights into disciplines where unstructured data is a common data format. To efficiently analyze unstructured data by process mining and to convey confidence into the analysis result, requires bridging multiple challenges. The purpose of this paper is to discuss these challenges, present initial solutions and describe future research directions. We hope that this article lays the foundations for future collaboration on this topic.

研究动机与目标

• 为解决在视频、传感器流、音频等非结构化数据普遍存在但与传统流程挖掘不原生兼容的领域中，对流程挖掘日益增长的需求。
• 识别并系统化整理将低层次非结构化数据转化为适合流程挖掘的结构化事件日志的核心挑战。
• 提出一套系统化的五步分析流水线，用于预处理和分析流程挖掘工作流中的非结构化数据。
• 概述五个前瞻性的研究方向，弥合该领域在技术、伦理和领域特定方面的差距。
• 通过提出开放挑战和可操作的研究议程，为未来合作奠定基础。

提出的方法

• 提出一个五阶段流程分析流水线：数据收集、事件抽象、事件日志创建、流程挖掘和结果解释，专为非结构化数据源设计。
• 采用数据抽象技术，从原始非结构化输入（如视频帧、传感器读数）中提取有意义的活动，并将其映射到符号化的事件日志条目。
• 引入混合建模方法，将领域知识整合到流程挖掘工作流中，以提升模型的准确性和相关性。
• 倡导结合异构数据源（如视频、传感器、日志）的数据融合技术，以创建更丰富、更准确的流程表示。
• 推广使用交互式和可扩展的可视化方法——如仪表板和3D模型——向利益相关者传达复杂的流程挖掘结果。
• 鼓励将可解释人工智能（XAI）技术整合进来，以增强从非结构化输入中得出的流程挖掘结果的透明度和可信度。

实验结果

研究问题

• RQ1 如何系统地将视频、音频和传感器流等非结构化数据转化为适合流程挖掘的结构化事件日志？
• RQ2 在从低层次非结构化数据源派生事件日志时，确保数据质量和流程保真度的关键挑战是什么？
• RQ3 如何有效将特定领域的知识整合到流程挖掘模型中，以提升其在现实应用场景中的准确性和相关性？
• RQ4 哪些数据融合策略可以结合异构数据源（如视频、传感器数据、日志）以获得更全面、更可靠的流程洞察？
• RQ5 在非结构化数据的流程挖掘中，如何主动应对与监控数据及偏见相关的伦理、法律和隐私问题？

主要发现

• 将非结构化数据转化为适合流程挖掘的事件日志，需要多个中间步骤，包括事件抽象和数据结构化，因为这些数据缺乏固有的案例ID、活动名称和时间戳。
• 传统流程挖掘假设事件日志是离散的、完全有序且准确的；而非结构化数据通常违反这些假设，因此在未经预处理的情况下直接应用不可行。
• 对异构数据源（如视频、传感器数据和生产日志）进行数据融合，可以揭示孤立数据流中无法察觉的模式，从而增强流程洞察力和监控能力。
• 高级可视化技术，包括交互式仪表板和3D表示，对于向非技术利益相关者传达来自非结构化数据的复杂流程挖掘结果至关重要。
• 在医疗保健和法律等高风险领域，非结构化数据上的流程挖掘可解释性至关重要，未来系统必须整合反馈机制以提升模型的可信度。
• 伦理与法律挑战——尤其是关于隐私、偏见和数据保护的问题——尤为显著，需要专门的框架支持，包括数据匿名化技术和透明的治理模型，以确保负责任的使用。