[论文解读] Topological Data Analysis in Text Classification: Extracting Features with Additive Information

Shafie Gholizadeh, Ketki Savle+2 more|arXiv (Cornell University)|Mar 29, 2020

Topological and Geometric Data Analysis参考文献 47被引用 4

一句话总结

本文提出两种新颖方法，利用拓扑数据分析（TDA）从文本中提取拓扑特征：一种将词嵌入视为高维时间序列，另一种通过持久同调分析文本块的TF-IDF向量。结果表明，将这些特征加入传统模型后，F1得分最高提升5.1%，证明TDA能够捕捉文本数据中独特且非冗余的信息。

ABSTRACT

While the strength of Topological Data Analysis has been explored in many studies on high dimensional numeric data, it is still a challenging task to apply it to text. As the primary goal in topological data analysis is to define and quantify the shapes in numeric data, defining shapes in the text is much more challenging, even though the geometries of vector spaces and conceptual spaces are clearly relevant for information retrieval and semantics. In this paper, we examine two different methods of extraction of topological features from text, using as the underlying representations of words the two most popular methods, namely word embeddings and TF-IDF vectors. To extract topological features from the word embedding space, we interpret the embedding of a text document as high dimensional time series, and we analyze the topology of the underlying graph where the vertices correspond to different embedding dimensions. For topological data analysis with the TF-IDF representations, we analyze the topology of the graph whose vertices come from the TF-IDF vectors of different blocks in the textual document. In both cases, we apply homological persistence to reveal the geometric structures under different distance resolutions. Our results show that these topological features carry some exclusive information that is not captured by conventional text mining methods. In our experiments we observe adding topological features to the conventional features in ensemble models improves the classification results (up to 5\%). On the other hand, as expected, topological features by themselves may be not sufficient for effective classification. It is an open problem to see whether TDA features from word embeddings might be sufficient, as they seem to perform within a range of few points from top results obtained with a linear support vector classifier.

研究动机与目标

• 探究拓扑数据分析（TDA）是否能够从词嵌入和TF-IDF向量等文本表示中提取有意义且非冗余的特征。
• 开发一种将词嵌入视为高维时间序列的方法，以保留序列和语义结构，便于进行拓扑分析。
• 评估基于TDA提取的拓扑特征在与传统特征结合时是否能提升文本分类性能。
• 探索TDA在捕捉标准NLP方法无法捕捉的文本几何不变量方面的潜力。
• 识别在短文档和可解释性方面应用TDA于文本时的局限性和开放问题。

提出的方法

• 第一种方法将文档的词嵌入序列转换为高维时间序列，将每个嵌入维度视为一个时间点，并应用持久同调分析所得的拓扑结构。
• 第二种方法将文档划分为固定大小的块，为每一块计算TF-IDF向量，构建图结构（节点为块，边基于距离阈值），然后应用持久同调提取拓扑特征。
• 从持久图中提取拓扑特征，包括维度0和1的出生与死亡直径、其导数（如孔洞数量、死亡直径平均值与标准差的比值）以及持续时间度量。
• 将拓扑特征与传统特征（如TF-IDF、词嵌入）结合，在集成模型中评估其在文本分类中的性能增益。
• 利用持久同调检测在不同距离阈值下稳定的拓扑特征，如连通分量（β₀）和环路（β₁）。
• 该方法应用于标准NLP数据集的文档分类任务，评估指标包括精确率、召回率和F1得分。

实验结果

研究问题

• RQ1 通过时间序列解释从词嵌入中提取的拓扑特征，是否能超越传统特征提升文本分类性能？
• RQ2 对TF-IDF块表示进行拓扑分析，是否能揭示增强分类性能的几何结构？
• RQ3 拓扑特征是否携带传统文本挖掘方法无法捕捉的独有信息？
• RQ4 当与传统特征结合时，拓扑特征在多大程度上提升集成模型的性能？
• RQ5 TDA特征在短文档或低上下文文档中存在哪些局限性？

主要发现

• 将从词嵌入或TF-IDF表示中提取的拓扑特征加入传统模型后，F1得分最高提升5.1%。
• 在集成模型中加入拓扑特征后，精确率提升0.5%，召回率提升4.9%。
• 仅使用拓扑特征时分类性能不足，表明其为互补性特征而非独立有效方法。
• 将嵌入视为时间序列的方法保留了词序信息，并在不同长度的文档中均表现良好。
• 短文本中的拓扑结构不稳定，表明在低上下文或短文档场景中存在局限性。
• 持久图揭示了稳定的拓扑特征，如环路和连通分量，表明文本表示中存在潜在的几何结构。