[论文解读] Session Analysis using Plan Recognition

Reuth Mirsky, Kobi Gal+1 more|arXiv (Cornell University)|Jun 20, 2017

Speech and dialogue systems参考文献 14被引用 6

一句话总结

本文提出了一种新颖的计划识别方法，利用层次任务网络（HTNs）分析探索性、高噪声的金融网络界面中的用户点击流数据。通过将低层级用户界面操作直接整合到领域特定的计划库中，并应用过滤启发式方法，该方法将会话分析开销降低了83%，实现了高精度的实时欺诈检测、意图预测和主动验证，适用于真实世界用例。

ABSTRACT

This paper presents preliminary results of our work with a major financial company, where we try to use methods of plan recognition in order to investigate the interactions of a costumer with the company's online interface. In this paper, we present the first steps of integrating a plan recognition algorithm in a real-world application for detecting and analyzing the interactions of a costumer. It uses a novel approach for plan recognition from bare-bone UI data, which reasons about the plan library at the lowest recognition level in order to define the relevancy of actions in our domain, and then uses it to perform plan recognition. We present preliminary results of inference on three different use-cases modeled by domain experts from the company, and show that this approach manages to decrease the overload of information required from an analyst to evaluate a costumer's session - whether this is a malicious or benign session, whether the intended tasks were completed, and if not - what actions are expected next.

研究动机与目标

• 为解决在金融应用中常见的开放式、探索性网络界面中推断用户意图的挑战。
• 通过将原始点击流数据转化为结构化、可解释的计划说明，减轻人类分析师的认知与分析负担。
• 通过预测用户意图及与预期行为的偏离，实现实时欺诈检测与主动验证。
• 开发一种能够处理现实用户交互中固有的外部动作、错误和任务交错的计划识别系统。
• 评估过滤机制在减少冗余解释的同时保持有意义意图推断的有效性。

提出的方法

• 该方法以层次任务网络（HTN）计划库作为核心领域模型，编码目标、非终结符、终结符以及任务分解的派生规则。
• 低层级用户界面操作（如页面访问、点击）被直接映射到计划库中的终结符，无需单独的活动识别步骤。
• 一种计划识别算法（CRADLE）对部分动作序列进行增量推理，基于计划库生成候选解释。
• 通过应用领域无关的阈值，过滤机制减少了解释的冗余：(1) ≤ 平均计划数量，(2) ≤ 平均前沿节点数量，(3) ≤ 4种不同计划。
• 系统通过在外部动作或错误不与已识别计划对齐时将其从解释中排除，来处理外部动作和错误。
• 通过将CRADLE与基线算法PHATT在三种真实会话类型（购买、添加已有用户账户、添加新用户账户）上的对比，评估性能。

实验结果

研究问题

• RQ1 能否从原始用户界面数据中有效推断出在探索性、高噪声的金融网络会话中的用户意图？
• RQ2 过滤机制在多大程度上能减少冗余解释的数量，同时不牺牲有意义的意图检测？
• RQ3 与现有计划识别算法相比，该方法在真实点击流数据上的解释集合大小和运行时间表现如何？
• RQ4 系统能否通过识别与预期计划轨迹的偏离，检测出不完整或恶意的会话？
• RQ5 在最低识别层级集成领域知识（计划库）是否能提高推断准确性并减少对外部活动识别的依赖？

主要发现

• 与原始点击流数据相比，CRADLE算法将每会话的平均解释数量减少了83%，显著降低了分析师的工作量。
• 在“为已有用户添加账户”任务中，CRADLE与PHATT的平均解释数均为1.00，表明该任务结构良好，具有高度一致性和低歧义性。
• CRADLE在“购买”任务中平均产生8.74个解释，而PHATT为18.32个，表明其在保留相关计划的同时实现了有效的剪枝。
• CRADLE的运行时间与PHATT相当，平均每会话0.06秒，表明其具备实时分析的可扩展性。
• 即使在分析师标记为相关的会话中，仅有少数会话包含完整执行的计划，表明许多会话涉及不完整或被中断的任务。
• 过滤机制成功减少了解释的冗余，CRADLE在“为新用户添加账户”会话中平均仅输出1.33个解释，而PHATT为2.00个。