[论文解读] Spectral convergence of diffusion maps: improved error bounds and an alternative normalisation

Caroline L. Wormell, Sebastian Reich|arXiv (Cornell University)|Jun 3, 2020

Advanced Neuroimaging Techniques and Applications参考文献 35被引用 12

一句话总结

该论文通过引入空间局部化的 Hardy 空间嵌入和谱稳定性分析，改进了在超环面上扩散映射的理论误差界，实现了特征值与特征函数的匹配点态收敛速率。此外，提出了一种基于 Sinkhorn 的归一化方法，得到对称算子近似，在平坦区域上表现出更优的收敛性。

ABSTRACT

Diffusion maps is a manifold learning algorithm widely used for dimensionality reduction. Using a sample from a distribution, it approximates the eigenvalues and eigenfunctions of associated Laplace-Beltrami operators. Theoretical bounds on the approximation error are however generally much weaker than the rates that are seen in practice. This paper uses new approaches to improve the error bounds in the model case where the distribution is supported on a hypertorus. For the data sampling (variance) component of the error we make spatially localised compact embedding estimates on certain Hardy spaces; we study the deterministic (bias) component as a perturbation of the Laplace-Beltrami operator's associated PDE, and apply relevant spectral stability results. Using these approaches, we match long-standing pointwise error bounds for both the spectral data and the norm convergence of the operator discretisation. We also introduce an alternative normalisation for diffusion maps based on Sinkhorn weights. This normalisation approximates a Langevin diffusion on the sample and yields a symmetric operator approximation. We prove that it has better convergence compared with the standard normalisation on flat domains, and present a highly efficient algorithm to compute the Sinkhorn weights.

研究动机与目标

• 弥合扩散映射在理论误差界与实际性能之间长期存在的差距。
• 通过分别分析方差与偏差分量，推导出特征值与特征函数更紧致的收敛速率。
• 提出一种基于 Sinkhorn 权重的替代归一化方法，以提升在平坦区域上的收敛性。
• 通过证明谱收敛性和所得算子的对称性，为新归一化方法提供理论依据。
• 开发一种高效算法，用于在扩散映射背景下计算 Sinkhorn 权重。

提出的方法

• 利用 Hardy 空间上的紧致嵌入估计来控制误差的方差分量，借助空间局部化。
• 将确定性偏差建模为拉普拉斯-贝尔特拉米算子的扰动，并应用偏微分方程理论中的谱稳定性结果。
• 引入一种基于 Sinkhorn 的归一化方法，通过平衡核矩阵以生成对称算子近似。
• 通过分析预解算子和转移密度界，证明 Sinkhorn 归一化算子在平坦区域上的收敛速度优于标准归一化。
• 应用 Schauder 估计和基本解的高斯下界，以控制算子范数和收敛速率。
• 开发一种高效的定点算法来计算 Sinkhorn 权重，确保方法的实际可行性。

实验结果

研究问题

• RQ1 能否为超环面上扩散映射的谱收敛性推导出更紧致的理论误差界？
• RQ2 扩散映射的标准归一化是否在特征值与特征函数上实现了最优收敛速率？
• RQ3 基于 Sinkhorn 平衡的新型归一化方法是否能相比标准方法提升谱收敛性？
• RQ4 Sinkhorn 归一化扩散映射算子在平坦区域上的收敛行为如何？
• RQ5 能否构建一种高效算法来计算扩散映射背景下 Sinkhorn 权重？

主要发现

• 该论文在特征值与特征函数上均实现了 $ \tilde{\rho}(\rho) $ 阶的匹配点态误差界，填补了与实际观测结果之间的差距。
• 通过在 Hardy 空间中使用局部化紧致嵌入，控制了方差误差分量，获得了改进的 $ M $-依赖性。
• 偏差误差被证明以 $ \tilde{\rho}(\rho) $ 速率衰减，与一阶离散化的预期 $ \tilde{\rho}(\rho) $ 速率一致。
• 所提出的 Sinkhorn 归一化方法产生了一个对称算子近似，其在平坦区域上的收敛速度优于标准归一化。
• 预解算子 $ (I + \tilde{\rho}(\rho))^{-1} $ 的算子范数被统一有界于常数 $ C_{52} $，且与 $ \tilde{\rho}(\rho) $ 无关。
• 开发了一种高效的定点算法来计算 Sinkhorn 权重，使新归一化方法具备实际部署的可行性。