[论文解读] Understanding the Power of Persistence Pairing via Permutation Test

Chen Cai, Yusu Wang|arXiv (Cornell University)|Jan 16, 2020

Topological and Geometric Data Analysis参考文献 39被引用 4

一句话总结

本文提出一种置换检验方法，用于隔离并量化持久性配对在持久性图（PDs）中对机器学习任务的贡献。通过在保持坐标不变的前提下随机打乱点对配对，该方法将几何结构与拓扑配对解耦；结果表明，持久性配对在形状数据上显著提升性能，但在图数据上仅带来微小增益，揭示了其在捕捉几何特征中的关键作用。

ABSTRACT

Recently many efforts have been made to incorporate persistence diagrams, one of the major tools in topological data analysis (TDA), into machine learning pipelines. To better understand the power and limitation of persistence diagrams, we carry out a range of experiments on both graph data and shape data, aiming to decouple and inspect the effects of different factors involved. To this end, we also propose the so-called \emph{permutation test} for persistence diagrams to delineate critical values and pairings of critical values. For graph classification tasks, we note that while persistence pairing yields consistent improvement over various benchmark datasets, it appears that for various filtration functions tested, most discriminative power comes from critical values. For shape segmentation and classification, however, we note that persistence pairing shows significant power on most of the benchmark datasets, and improves over both summaries based on merely critical values, and those based on permutation tests. Our results help provide insights on when persistence diagram based summaries could be more suitable.

研究动机与目标

• 量化持久性配对在持久性图中超越临界值的判别能力。
• 解决基于持久性图的特征与向量化或核化摘要之间比较的挑战，这些比较因核函数或距离度量的选择而产生混淆。
• 开发一种方法，将临界值与持久性配对的影响解耦，以支持经验分析。
• 为持久性图在机器学习流程中何时以及为何有效提供实证指导。

提出的方法

• 提出一种置换检验方法，通过在保持坐标不变的前提下打乱持久性点对的配对，生成具有相同几何结构但无拓扑结构的‘虚假’PDs。
• 在真实与置换后的PDs上使用相同的核函数（如切片Wasserstein核），以确保在不同模型间实现公平比较。
• 在真实与虚假PDs上训练分类器（如使用核方法的SVM），以衡量性能差异并评估配对的价值。
• 通过混淆矩阵和可视化分析（如t-SNE）比较真实与虚假图的可分性。
• 在图数据集（IMDB、REDDIT、DD）和形状数据集（ModelNet）上，应用多种过滤函数（度数、Ricci曲率、连通分量）进行实验。
• 使用f1-score和准确率指标，评估在有无持久性配对情况下的分类性能。

实验结果

研究问题

• RQ1 持久性配对相较于持久性图中临界值的分布，额外贡献了多少判别能力？
• RQ2 在图数据与形状数据中，持久性配对在哪类设置下最有效？
• RQ3 置换检验能否可靠地将配对贡献与几何特征从PDs中分离？
• RQ4 尽管理论上具有稳定性，为何基于PD的方法在图数据上表现不佳？
• RQ5 真实与虚假PDs之间的结构差异如何影响分类器的泛化能力？

主要发现

• 在图分类任务中，虚假PDs（配对被置换）的性能接近真实PDs——例如，在ModelNet-10上分别为55.2%与53.6%，表明大部分判别能力来自临界值，而非配对。
• 在形状数据集（如ModelNet-10）上，真实PDs显著优于虚假PDs（例如，在‘bathtub’类别上f1-score分别为57.2%与44.3%），表明配对增强了几何数据的特征学习能力。
• 置换检验成功地将配对与几何解耦，实现了清晰比较：在所有数据集中，真实PDs与虚假PDs的可分性始终达到85–100%的准确率。
• 混淆矩阵显示，虚假PDs从未被误分类为真实PDs，且真实与虚假图在嵌入空间中清晰分离，表明结构差异可被有效检测。
• 在IMDB-B数据集上，置换检验使用切片Wasserstein核实现99.8%的准确率，可区分真实与虚假PDs，证实真实配对中存在强烈的结构信号。
• 在形状分类中，当使用合适的特征化方法（如PerVec）时，配对带来的性能提升最为显著，表明配对在与几何敏感表示结合时最为有效。