[论文解读] Optimizing persistent homology based functions

Mathieu Carrière, Frédéric Chazal+3 more|arXiv (Cornell University)|Oct 16, 2020

Topological and Geometric Data Analysis参考文献 38被引用 16

一句话总结

本文提出了一种通用的、可微分的框架，用于基于持久同调的函数优化，利用实解析几何确保随机次梯度方法的理论收敛性保证。该框架可实现高效、基于梯度的拓扑损失函数优化，在各类机器学习应用中仅需极少的实现开销。

ABSTRACT

Solving optimization tasks based on functions and losses with a topological flavor is a very active, growing field of research in data science and Topological Data Analysis, with applications in non-convex optimization, statistics and machine learning. However, the approaches proposed in the literature are usually anchored to a specific application and/or topological construction, and do not come with theoretical guarantees. To address this issue, we study the differentiability of a general map associated with the most common topological construction, that is, the persistence map. Building on real analytic geometry arguments, we propose a general framework that allows us to define and compute gradients for persistence-based functions in a very simple way. We also provide a simple, explicit and sufficient condition for convergence of stochastic subgradient methods for such functions. This result encompasses all the constructions and applications of topological optimization in the literature. Finally, we provide associated code, that is easy to handle and to mix with other non-topological methods and constraints, as well as some experiments showcasing the versatility of our approach.

研究动机与目标

• 解决现有基于持久同调的非凸、不可微函数优化方法在理论收敛性保证方面的不足。
• 将机器学习中多样化的拓扑优化方法统一于一个基于实解析几何的可微分框架之下。
• 利用标准深度学习库与自动微分技术，实现拓扑函数的实用化、可扩展优化。
• 提供一个通用的实现方案，可无缝集成至非拓扑优化流水线中。

提出的方法

• 将持久同调映射表示为从参数化过滤复形到持久图的半代数函数，通过o-极小几何实现可微性分析。
• 证明持久同调映射是半代数的，因此在弱条件下具有良好的可微性性质。
• 应用[DDKL20]的最新成果，建立一般持久同调基函数的随机次梯度下降的几乎必然收敛性。
• 采用切片Wasserstein距离作为Wasserstein距离的计算高效替代方案，同时保留理论保证。
• 实现一个轻量级、兼容PyTorch/TensorFlow的Python库，支持拓扑函数的端到端优化。
• 通过允许梯度反向传播通过持久图和拓扑特征，将框架与标准机器学习流水线集成。

实验结果

研究问题

• RQ1 能否开发一种通用框架，确保对一大类持久同调基函数的优化算法收敛？
• RQ2 如何克服持久图的不可微性，以在机器学习中实现基于梯度的优化？
• RQ3 在何种条件下，可保证随机次梯度方法收敛至拓扑函数的临界点？
• RQ4 该框架能否实现计算高效，并与现有深度学习库兼容？
• RQ5 优化过滤函数在多大程度上能提升拓扑机器学习任务中的下游性能？

主要发现

• 持久同调映射是半代数的，从而支持严格的可微性分析，并为优化提供理论收敛性保证。
• 在弱假设下，将随机次梯度下降应用于一般持久同调基函数时，几乎必然收敛至临界点。
• 使用所提框架进行过滤函数优化，在MNIST数据集上的分类准确率显著提升，相较于随机初始化最高提升+11.5个百分点（例如，vs79）。
• 切片Wasserstein距离通过矩阵运算实现高效优化，显著减少计算时间，同时保持理论有效性。
• 该框架在MNIST数据集中全部45个二分类数字识别任务中均实现性能提升，仅有一个任务未见改进。
• 开源实现可无缝集成至标准机器学习工作流中，支持使用拓扑正则化器的端到端训练。