[论文解读] PLLay: Efficient Topological Layer based on Persistence Landscapes

Kwang Ho Kim, Jisu Kim+4 more|arXiv (Cornell University)|Feb 7, 2020

Topological and Geometric Data Analysis参考文献 50被引用 7

一句话总结

本文提出了 PLLay，一种基于持久性景观的可微分拓扑层，能够高效地将输入数据的拓扑特征编码到深度学习模型中。通过确保对输入扰动的可微性和稳定性，PLLay 实现了端到端的反向传播训练，显著提升了模型在噪声和复杂数据上的准确率与鲁棒性，尤其在需要全局结构理解的任务中表现突出。

ABSTRACT

We propose PLLay, a novel topological layer for general deep learning models based on persistence landscapes, in which we can efficiently exploit the underlying topological features of the input data structure. In this work, we show differentiability with respect to layer inputs, for a general persistent homology with arbitrary filtration. Thus, our proposed layer can be placed anywhere in the network and feed critical information on the topological features of input data into subsequent layers to improve the learnability of the networks toward a given task. A task-optimal structure of PLLay is learned during training via backpropagation, without requiring any input featurization or data preprocessing. We provide a novel adaptation for the DTM function-based filtration, and show that the proposed layer is robust against noise and outliers through a stability analysis. We demonstrate the effectiveness of our approach by classification experiments on various datasets.

研究动机与目标

• 开发一种拓扑层，通过确保对输入数据的可微性，实现与深度神经网络的无缝集成。
• 克服先前拓扑层的局限性，例如依赖固定过滤或缺乏稳定性和可微性。
• 通过持久性景观嵌入拓扑特征，实现在无需手动特征工程的情况下，实现深度网络的端到端训练。
• 通过理论稳定性分析和实证评估，证明其对噪声和异常值的鲁棒性。
• 展示 PLLay 在多样化数据集上的性能提升，尤其在高噪声或复杂拓扑结构的场景中。

提出的方法

• 该方法使用加权持久性景观，将持久性图中的拓扑特征编码为向量化的函数表示。
• 确保该层对任意持久同调与任意过滤的输入数据具有可微性，从而支持反向传播。
• 提出一种基于 DTM（测度距离）函数的过滤的新颖改进，以提升对噪声和异常值的鲁棒性。
• 该层可灵活插入神经网络架构中的任意位置——层前、层后或层间，无需架构约束。
• 推导出与输入复杂度无关的理论稳定性边界，确保在输入扰动下的鲁棒性。
• 通过反向传播实现端到端训练，使网络能够自动学习任务最优的拓扑表示。

实验结果

研究问题

• RQ1 能否使拓扑层对输入数据完全可微，从而实现在深度网络中的端到端训练？
• RQ2 如何以一种在输入扰动下稳定且兼容反向传播的方式编码拓扑特征？
• RQ3 基于持久性景观的拓扑层是否能提升模型在噪声或复杂数据上的准确率与鲁棒性？
• RQ4 所提出的层是否能有效应用于任意数据结构，而无需数据预处理或固定参数化过滤？
• RQ5 基于 DTM 的过滤如何在存在噪声和异常值的情况下增强拓扑层的稳定性和性能？

主要发现

• 在 ORBIT5K 数据集上，PLLay 将分类准确率显著提升，在 0% 噪声下达到 95.11% 的测试准确率，优于基线 CNN 的 0.45% 和 MLP 的 74.5%。
• 在 35% 噪声下，PLLay 相较于标准 CNN 和 CNN+S 显著降低了分类准确率的方差，表现出更强的鲁棒性。
• 在 0% 噪声下，MLP+P 模型的准确率达到 80.82%，相比原始 MLP 和 MLP+S 提升了 42–60%，而后者仍接近随机性能。
• 在卷积层后添加 PLLay（即 CNN+P(i)）进一步提升了准确率，表明网络中间位置的嵌入更有利于特征学习。
• PLLay 在所有噪声水平下均保持高性能，测试准确率从 95.11% 逐步下降至 35% 噪声下的 76.68%，表现出一致的鲁棒性。
• 稳定性分析证实，PLLay 的输出在输入扰动下被紧密绑定，且边界与输入复杂度无关，验证了其理论鲁棒性。