[论文解读] Persistence Fisher Kernel: A Riemannian Manifold Kernel for Persistence Diagrams

Tam Le, Makoto Yamada|arXiv (Cornell University)|Feb 10, 2018

Topological and Geometric Data Analysis被引用 51

一句话总结

本文提出基于费舍尔信息几何的 Persistence Fisher (PF) 核，用于持久性图（persistence diagrams），提供一个正定、非近似的核，具有理论保证和具有竞争力的经验表现。

ABSTRACT

Algebraic topology methods have recently played an important role for statistical analysis with complicated geometric structured data such as shapes, linked twist maps, and material data. Among them, extit{persistent homology} is a well-known tool to extract robust topological features, and outputs as extit{persistence diagrams} (PDs). However, PDs are point multi-sets which can not be used in machine learning algorithms for vector data. To deal with it, an emerged approach is to use kernel methods, and an appropriate geometry for PDs is an important factor to measure the similarity of PDs. A popular geometry for PDs is the extit{Wasserstein metric}. However, Wasserstein distance is not extit{negative definite}. Thus, it is limited to build positive definite kernels upon the Wasserstein distance extit{without approximation}. In this work, we rely upon the alternative extit{Fisher information geometry} to propose a positive definite kernel for PDs extit{without approximation}, namely the Persistence Fisher (PF) kernel. Then, we analyze eigensystem of the integral operator induced by the proposed kernel for kernel machines. Based on that, we derive generalization error bounds via covering numbers and Rademacher averages for kernel machines with the PF kernel. Additionally, we show some nice properties such as stability and infinite divisibility for the proposed kernel. Furthermore, we also propose a linear time complexity over the number of points in PDs for an approximation of our proposed kernel with a bounded error. Throughout experiments with many different tasks on various benchmark datasets, we illustrate that the PF kernel compares favorably with other baseline kernels for PDs.

研究动机与目标

• 通过核函数尊重持久性图的几何结构，推动对其的鲁棒统计分析。
• 提出一个直接从费舍尔信息度量计算的正定 PF 核，并且不进行近似。
• 建立理论保证，包括特征结构、泛化界和稳定性等。
• 在多种基于 PD 的学习任务中，与基线相比展示 PF 的经验表现。

提出的方法

• 将每个 PD 表示为在有限集合上的平滑化、归一化测度，通过高斯平滑实现。
• 使用平滑测量与概率简单形来定义两个 PD 之间的费舍尔信息度量。
• 将 PF 核构造成 k_PF(Dg_i, Dg_j) = exp(-t d_FIM(Dg_i, Dg_j))，其中 t > 0，且证明 d_FIM 相对于平移是负半定的。
• 分析 k_PF 诱导的积分算子特征结构，以推导覆盖数和 Rademacher 平均的泛化界。
• 提出使用 Fast Gauss Transform 的线性时间近似，以减少计算量并保持有界误差。
• 证明 PF 核的无限可分性，并讨论其对底层费舍尔信息几何的稳定性。

实验结果

研究问题

• RQ1 如何在不近似潜在度量的前提下，为持久性图定义一个几何感知的正定核？
• RQ2 基于 PD 上的费舍尔信息度量的核的理论性质（特征结构、泛化界、稳定性）是什么？
• RQ3 与现有 PD 核相比，PF 核在分类和变点任务中的经验表现如何？

主要发现

• PF 核是正定的，直接由费舍尔信息度量构建，不需要近似。
• 为 PF 推导的积分算子特征系统显示非负的 Legendre 展开系数，可实现核学习界。
• PF 核在基准数据集（如 MPEG7 和 Orbit 数据集）上实现了与基线 PD 核的竞争性或优越性。
• PF 基于的 SVM 结果：MPEG7 精度 80.00 ± 4.08；Orbit 精度 85.87 ± 0.77，优于 PSS、PWG 和 SW 基线。
• PF 核可通过 Fast Gauss Transform 进行线性时间近似，且具有无限可分性与良好的稳定性属性。