[论文解读] Towards Theme Detection in Personal Finance Questions

John Xi Qiu, Adam Faulkner+1 more|arXiv (Cornell University)|Oct 4, 2021

Topic Modeling参考文献 14被引用 4

一句话总结

本文提出了一种基于句子级别的聚类方法，用于检测个人财务查询中的主题，利用通用句子编码器（USE）和KMeans聚类在StackExchange数据上识别每个问题中的多个主题。该方法实现了0.46的Micro-F1，优于SBERT和更复杂的语义解析技术，表明简单而稳健的编码与聚类方法能够有效揭示金融客户咨询中的主题趋势。

ABSTRACT

Banking call centers receive millions of calls annually, with much of the information in these calls unavailable to analysts interested in tracking new and emerging call center trends. In this study we present an approach to call center theme detection that captures the occurrence of multiple themes in a question, using a publicly available corpus of StackExchange personal finance questions, labeled by users with topic tags, as a testbed. To capture the occurrence of multiple themes in a single question, the approach encodes and clusters at the sentence- rather than question-level. We also present a comparison of state-of-the-art sentence encoding models, including the SBERT family of sentence encoders. We frame our evaluation as a multiclass classification task and show that a simple combination of the original sentence text, Universal Sentence Encoder, and KMeans outperforms more sophisticated techniques that involve semantic parsing, SBERT-family models, and HDBSCAN. Our highest performing approach achieves a Micro-F1 of 0.46 for this task and we show that the resulting clusters, even when slightly noisy, contain sentences that are topically consistent with the label associated with the cluster.

研究动机与目标

• 从电话中心转录文本中检测个人财务客户咨询中出现的多个新兴主题。
• 通过识别“未知的未知”——即先前未被发现的客户查询趋势——来克服基于关键词搜索的局限性。
• 评估并比较在金融领域背景下用于主题检测的句子编码与聚类技术。
• 开发一种可扩展的、无监督的端到端流程，以句子为单位捕获每个问题中的多个主题。
• 使用公开的StackExchange个人财务问题作为专有电话中心数据的代理，对方法进行验证。

提出的方法

• 该方法通过将客户问题陈述（CPS）从通话转录中分割为句子进行分析。
• 使用通用句子编码器（USE）和SBERT系列模型进行句子级别的编码，生成密集向量表示。
• 在编码后的句子向量上使用KMeans和HDBSCAN进行聚类，以分组语义相似的句子。
• 该方法结合原始句子文本、USE嵌入和KMeans聚类，避免了复杂的语义解析。
• 通过将聚类句子中的词汇模式泛化为人类可读的主题标签，对聚类进行标注。
• 将评估任务视为多分类任务，使用Micro-F1进行衡量，错误分析聚焦于误分类模式和主导类别偏差。

实验结果

研究问题

• RQ1 句子级别的聚类能否有效检测单个个人财务问题中的多个主题？
• RQ2 不同句子编码模型——特别是USE与SBERT——在金融查询的主题检测中表现如何？
• RQ3 使用原始句子文本结合USE和KMeans是否优于涉及语义解析或高级模型的更复杂方法？
• RQ4 主题检测中的误分类原因是什么？类别不平衡如何影响性能？
• RQ5 所提出的方法能否在时间维度上检测出金融查询数据中的新兴趋势？

主要发现

• 通用句子编码器（USE）与KMeans聚类的组合实现了0.46的最高Micro-F1得分，优于所有SBERT系列模型和基于TF-IDF的基线方法。
• 尽管SBERT系列模型为最先进模型，但其表现仍逊于USE，表明针对金融文本的领域特定预训练可能更具有效性。
• 句子级别的聚类成功捕捉了每个问题中的多个主题，即使存在轻微噪声，聚类仍表现出较强的主题一致性。
• HDBSCAN始终选择的聚类数（约100个）少于KMeans（约700个），限制了其捕捉主题多样性的能力。
• 误分类通常具有主题相关性，例如“trading”常被误判为“investing”，表明金融领域中语义相似性较高。
• 主导类别“investing”导致大量假阳性预测，提示未来工作应优化该类别或对预测分数进行归一化处理。