[论文解读] The Diffusion Geometry of Fibre Bundles: Horizontal Diffusion Maps

Tingran Gao|arXiv (Cornell University)|Feb 7, 2016

Topological and Geometric Data Analysis参考文献 70被引用 3

一句话总结

本文提出水平扩散图（HDM），一种非参数框架，通过将数据集建模为带有联络的纤维丛，将扩散图扩展至具有结构对应关系的数据。通过在单位切丛上引入水平扩散过程，HDM 能够捕捉次黎曼几何，并在渐近意义下收敛至水平拉普拉斯算子，从而实现对具有功能型成对关系的复杂高维数据的改进降维。

ABSTRACT

Kernel-based non-linear dimensionality reduction methods, such as Local Linear Embedding (LLE) and Laplacian Eigenmaps, rely heavily upon pairwise distances or similarity scores, with which one can construct and study a weighted graph associated with the dataset. When each individual data object carries additional structural details, however, the correspondence relations between these structures provide extra information that can be leveraged for studying the dataset using the graph. Based on this observation, we generalize Diffusion Maps (DM) in manifold learning and introduce the framework of Horizontal Diffusion Maps (HDM). We model a dataset with pairwise structural correspondences as a fibre bundle equipped with a connection. We demonstrate the advantage of incorporating such additional information and study the asymptotic behavior of HDM on general fibre bundles. In a broader context, HDM reveals the sub-Riemannian structure of high-dimensional datasets, and provides a nonparametric learning framework for datasets with structural correspondences.

研究动机与目标

• 解决标准扩散图在捕捉具有内部结构的高维数据中复杂非标量成对关系方面的局限性。
• 将数据对象建模为基流形上的点，其内部结构（如形状特征点、图像像素）作为带有联络的纤维丛中的纤维。
• 开发一种基于图的方法，利用结构元素之间的对应关系（而不仅仅是标量距离）以改进几何学习。
• 建立 HDM 在单位切丛上渐近收敛至水平拉普拉斯算子的理论，确保理论一致性。
• 提供一个分析具有多层、异构或时变关系的数据集的框架，超越简单的图抽象。

提出的方法

• 将数据集建模为纤维丛，其中数据对象为基流形上的点，内部数据点（如特征点）为纤维，联络编码结构对应关系。
• 在基流形的单位切丛（UTM）上定义水平随机游走，利用平行移动在纤维间传播信息。
• 使用依赖于基流形距离与传输后纤维点之间距离的核函数，构建图的水平拉普拉斯算子。
• 采用双尺度核函数 $ K_{\rho,\rho}(\tau_i, \tau_j) $，结合基距离 $ \|\xi_i - \xi_j\|^2 / \epsilon $ 与水平传输误差 $ \|P_{\xi_j,\xi_i} \bar{\tau}_{i,r} - \bar{\tau}_{j,s}\|^2 / \delta $。
• 推导单位切丛上水平与垂直扩散算子的无穷小生成元，在渐近条件下证明其收敛至水平拉普拉斯算子 $ \Delta_{UTM}^H $。
• 通过大数定律和误差界分析建立收敛速率，误差项包含 $ \epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2} $，并引入与 $ \delta^{-1}(\epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2}) $ 成比例的校正项。

实验结果

研究问题

• RQ1 如何将扩散图推广以纳入数据结构之间的非标量、功能性成对关系？
• RQ2 所提出的水平扩散图（HDM）在一般带有联络的纤维丛上的渐近行为如何？
• RQ3 引入结构对应关系后，与标准扩散图相比，其在高维数据几何表示上的改进体现在何处？
• RQ4 在有限采样条件下，经验 HDM 算子向其总体对应算子的收敛速率如何？
• RQ5 HDM 是否能够恢复具有复杂内部结构的数据的潜在次黎曼几何？

主要发现

• HDM 渐近收敛至单位切丛上的水平拉普拉斯算子 $ \Delta_{UTM}^H $，校正项分别与 $ \epsilon \cdot \frac{m_{21}}{2m_0} \Delta_{UTM}^H $ 和 $ \delta \cdot \frac{m_{22}}{2m_0} \Delta_{UTM}^V $ 成比例。
• 经验 HDM 算子 $ \hat{H}_{\epsilon,\delta}^{(\alpha)} $ 以误差 $ O(\delta^{-1}(\epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2})) $ 收敛至真实算子 $ \tilde{H}_{\epsilon,\delta}^{(\alpha)} $，当满足 $ \delta^{-1}(\epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2}) \to 0 $ 时，该误差趋于零。
• 该框架通过在单位切丛上利用水平扩散，成功捕捉了高维数据中的次黎曼结构。
• 数值实验验证了理论收敛速率，并在具有复杂形状对应关系的几何形态学数据上展示了性能提升。
• 与标准扩散图相比，该方法通过保留数据对象间最优对应关系所编码的更丰富的几何与结构信息，表现更优。
• 理论分析表明，基于核函数的 HDM 算子在 UTM 上渐近逼近水平扩散过程，其误差受 PCA 噪声与带宽项的有界控制。