[论文解读] On Nonlinear Dimensionality Reduction, Linear Smoothing and Autoencoding

Daniel Ting, Michael I. Jordan|arXiv (Cornell University)|Mar 6, 2018

Optical Polarization and Ellipsometry参考文献 15被引用 8

一句话总结

本文建立了一个理论框架，将非线性降维（NLDR）方法与统计学中的线性平滑联系起来，表明收敛的局部谱NLDR方法在渐近意义上求解具有特定边界条件的微分方程。该研究识别出三种极限微分算子及其边界条件，对主要NLDR方法进行了分类，并证明了局部切空间对齐（LTSA）在等距嵌入方面优于经典方法。

ABSTRACT

We develop theory for nonlinear dimensionality reduction (NLDR). A number of NLDR methods have been developed, but there is limited understanding of how these methods work and the relationships between them. There is limited basis for using existing NLDR theory for deriving new algorithms. We provide a novel framework for analysis of NLDR via a connection to the statistical theory of linear smoothers. This allows us to both understand existing methods and derive new ones. We use this connection to smoothing to show that asymptotically, existing NLDR methods correspond to discrete approximations of the solutions of sets of differential equations given a boundary condition. In particular, we can characterize many existing methods in terms of just three limiting differential operators and boundary conditions. Our theory also provides a way to assert that one method is preferable to another; indeed, we show Local Tangent Space Alignment is superior within a class of methods that assume a global coordinate chart defines an isometric embedding of the manifold.

研究动机与目标

• 开发一个统一的理论框架，以理解非线性降维（NLDR）方法。
• 阐明现有NLDR方法之间的关系及其相对性能，特别是在等距嵌入方面的表现。
• 将NLDR与统计学中的线性平滑理论联系起来，从而获得新的理论洞见并实现算法改进。
• 推导出一种一致的拉普拉斯-贝尔特拉米近似，即使在没有边界条件的情况下也能保持平滑惩罚项的收敛性。
• 基于理论特性（如边界行为和收敛性）实现方法的比较与选择。

提出的方法

• 利用NLDR矩阵与线性平滑器之间的联系，将嵌入解释为带有边界条件的微分方程的解。
• 分析在邻域大小趋于零时，局部谱NLDR方法的渐近行为，将其视为微分算子的离散近似。
• 识别出三种极限微分算子：系数拉普拉斯算子、LLR-拉普拉斯算子和扩散映射型算子，每种算子具有不同的边界条件。
• 通过局部线性回归推导系数拉普拉斯算子，以估计梯度，确保所有光滑函数下自伴性和平滑惩罚项的一致收敛。
• 应用平滑理论中的边界偏差理论，以描述当边界条件不满足时收敛失败的情况。
• 通过所得算子的谱分解分析嵌入行为，并对不同方法进行比较。

实验结果

研究问题

• RQ1 如何基于其极限微分算子和边界条件，系统性地对现有NLDR方法进行分类？
• RQ2 为何局部切空间对齐（LTSA）在恢复流形的等距嵌入方面优于其他NLDR方法？
• RQ3 能否构建一种拉普拉斯-贝尔特拉米近似，使其即使在未满足边界条件时也能保持平滑惩罚项的收敛性？
• RQ4 边界偏差在NLDR方法的收敛性和性能中起什么作用？
• RQ5 如何利用线性平滑理论的洞见来改进或设计新的NLDR算法？

主要发现

• LTSA在等距嵌入方面理论上优于其他经典NLDR方法，因为它对应于具有最优边界条件的极限微分算子。
• Hessian LLE（HLLE）与LTSA属于同一类，收敛于相同的极限，因此可作为平滑惩罚项互换使用。
• 系数拉普拉斯算子可确保对所有 $ C^\infty(\mathcal{M}) $ 函数，平滑惩罚项 $ f^T L f \to \|\nabla f\|^2 $ 保持一致收敛，即使不满足边界条件。
• 现有拉普拉斯算子近似在边界处无法实现一致收敛，除非函数满足所施加的边界条件，从而导致嵌入不可靠。
• 与LTSA相关的线性平滑器在内部区域实现 $ O(h^4) $ 的偏差，优于标准局部线性回归的 $ O(h^2) $ 偏差。
• 理论分析表明，当边界条件未满足时，$ L_h^* L_h f $ 随 $ h \to 0 $ 发散，表明平滑算子存在不稳定性。