[论文解读] UFTR: A Unified Framework for Ticket Routing

Jianglei Han, Jing Li+1 more|arXiv (Cornell University)|Mar 2, 2020

Multimedia Communication and Technology参考文献 34被引用 5

一句话总结

本文提出UFTR，一种统一的端到端IT工单路由框架，通过联合建模初始分组分配与组间转移，整合了四种特征类型：工单（T）、组（G）、工单-组（TG）和组-组（GG）。实验表明，UFTR显著优于基线模型，其中TG特征最为关键，在解析器识别的top-5命中率上达到0.976。

ABSTRACT

Corporations today face increasing demands for the timely and effective delivery of customer service. This creates the need for a robust and accurate automated solution to what is formally known as the ticket routing problem. This task is to match each unresolved service incident, or "ticket", to the right group of service experts. Existing studies divide the task into two independent subproblems - initial group assignment and inter-group transfer. However, our study addresses both subproblems jointly using an end-to-end modeling approach. We first performed a preliminary analysis of half a million archived tickets to uncover relevant features. Then, we devised the UFTR, a Unified Framework for Ticket Routing using four types of features (derived from tickets, groups, and their interactions). In our experiments, we implemented two ranking models with the UFTR. Our models outperform baselines on three routing metrics. Furthermore, a post-hoc analysis reveals that this superior performance can largely be attributed to the features that capture the associations between ticket assignment and group assignment. In short, our results demonstrate that the UFTR is a superior solution to the ticket routing problem because it takes into account previously unexploited interrelationships between the group assignment and group transfer problems.

研究动机与目标

• 解决现有两阶段工单路由方法的局限性，后者将初始分配与组间转移视为独立问题。
• 探究大规模支持系统中工单内容、专家组特征与路由动态之间的相互作用。
• 开发一种统一且可扩展的框架，捕捉工单与专家组之间个体特征与交互特征。
• 通过建模以往未被利用的工单分配与组间转移之间的交互，提升路由准确性。

提出的方法

• 提出UFTR，一种统一框架，通过四种特征类型（工单T、组G、工单-组TG、组-组GG）计算每对工单-组的匹配得分。
• 从约五百万份归档工单中提取特征，包括内容清晰度、组层级结构、解析器概率及转移模式。
• 使用四种特征类型构建点对点与列表排序两种排序模型，以预测最优组分配。
• 采用随机森林回归器评估特征重要性，识别出TG特征最具影响力。
• 通过逐一移除一种特征类型进行消融研究，评估其对路由性能的贡献。
• 利用查询似然模型（QLM）、BM25及余弦相似度（cos_ent, cos_emb）捕捉语义与概率交互。

实验结果

研究问题

• RQ1 与孤立特征相比，工单与专家组之间的交互如何影响路由性能？
• RQ2 与两阶段方法相比，联合建模初始分配与组间转移在多大程度上提升了路由准确性？
• RQ3 在工单、组、TG与GG四种特征类型中，哪一类对模型预测性能的贡献最为显著？
• RQ4 路由序列长度如何影响模型识别正确解析器组的能力？
• RQ5 网络级结构特征（如组层级结构、转移概率）是否能增强大规模支持系统中的路由准确性？

主要发现

• UFTR框架在三项路由评估指标上全面优于所有基线模型，在最具挑战性的测试集（S1）上达到0.976的top-5命中率。
• 移除工单-组（TG）特征导致性能下降最显著，top-1命中率降至0.290，表明TG特征最为关键。
• 列表排序模型略优于点对点模型，表明直接建模排序顺序可提升性能。
• 随机森林回归器将QLM（查询似然模型）列为最重要特征（重要性0.351），其次为P(g|τ)（条件组概率），重要性为0.273。
• 组级别特征（G与GG）整体贡献较小，其中解析器概率与VMS转移概率最具影响力。
• 较长的路由序列（如S4）的top-1命中率高于较短序列（S2、S3），表明更长路径可能包含更多判别性路由信号。