[论文解读] Non-Parametric Estimation of Manifolds from Noisy Data

Yariv Aizenbud, Barak Sober|arXiv (Cornell University)|May 11, 2021

Topological and Geometric Data Analysis参考文献 45被引用 11

一句话总结

本文提出一种非参数算法，用于从 ℝᴰ 中的噪声有限样本中估计 d 维子流形及其切空间。在管状邻域采样模型下，证明了估计点与切空间几乎必然收敛至真实流形与切空间，点估计的最优渐近收敛率为 n⁻ᵏ⁄⁽²ᵏ⁺ᵈ⁾，切空间估计的最优渐近收敛率为 n⁻⁽ᵏ⁻¹⁾⁄⁽²ᵏ⁺ᵈ⁾。

ABSTRACT

A common observation in data-driven applications is that high dimensional data has a low intrinsic dimension, at least locally. In this work, we consider the problem of estimating a $d$ dimensional sub-manifold of $\mathbb{R}^D$ from a finite set of noisy samples. Assuming that the data was sampled uniformly from a tubular neighborhood of $\mathcal{M}\in \mathcal{C}^k$, a compact manifold without boundary, we present an algorithm that takes a point $r$ from the tubular neighborhood and outputs $\hat p_n\in \mathbb{R}^D$, and $\widehat{T_{\hat p_n}\mathcal{M}}$ an element in the Grassmanian $Gr(d, D)$. We prove that as the number of samples $n o\infty$ the point $\hat p_n$ converges to $p\in \mathcal{M}$ and $\widehat{T_{\hat p_n}\mathcal{M}}$ converges to $T_p\mathcal{M}$ (the tangent space at that point) with high probability. Furthermore, we show that the estimation yields asymptotic rates of convergence of $n^{-\frac{k}{2k + d}}$ for the point estimation and $n^{-\frac{k-1}{2k + d}}$ for the estimation of the tangent space. These rates are known to be optimal for the case of function estimation.

研究动机与目标

• 解决从高维空间中噪声有限样本估计低维流形的挑战。
• 开发一种方法，仅从数据中同时估计流形点及其切空间，而无需访问真实流形或其参数化形式。
• 在管状邻域采样模型下，建立流形点及其切空间估计的理论收敛速率。
• 证明所提出的算法达到非参数函数估计中已知的最优收敛速率。

提出的方法

• 该算法从紧致、无边界的 Cᵏ 流形 ℳ ⊂ ℝᴰ 的管状邻域中取一点 r，输出 ℝᴰ 中的估计点 p̂ₙ 以及格拉斯曼流形 Gr(d, D) 中的估计切空间 T̂ₚ̂ₙℳ。
• 利用局部几何结构，并假设从 ℳ 的管状邻域中进行均匀采样，且噪声有界。
• 该方法采用两阶段程序：首先估计局部坐标系，然后在估计的切空间上进行局部多项式回归，灵感来源于 Manifold-MLS。
• 理论分析依赖于几何概率，以及子空间之间主角的界，使用了余弦角与正交投影的引理。
• 关键组成部分包括通过涉及噪声与几何参数的不等式，界定估计切空间与真实切空间之间的夹角。
• 收敛性分析使用了集中不等式，并基于流形的光滑性（Cᵏ）、环境维数 D 与内在维数 d 之间的相互作用，推导出渐近界。

实验结果

研究问题

• RQ1 非参数算法能否在理论保证下，从噪声有限样本中同时估计流形点及其切空间？
• RQ2 在管状邻域采样模型下，估计流形及其切空间的最优收敛速率是什么？
• RQ3 估计误差如何依赖于样本量 n、流形的光滑度 k 与内在维数 d？
• RQ4 所提方法的收敛速率是否与非参数估计的已知极小最大下界相当？

主要发现

• 估计点 p̂ₙ 几乎必然收敛至真实流形点 p，当 n → ∞ 时。
• 估计切空间 T̂ₚ̂ₙℳ 几乎必然收敛至真实切空间 Tₚℳ，当 n → ∞ 时。
• 点估计实现了最优渐近收敛速率 n⁻ᵏ⁄⁽²ᵏ⁺ᵈ⁾。
• 切空间估计实现了最优渐近收敛速率 n⁻⁽ᵏ⁻¹⁾⁄⁽2ᵏ⁺ᵈ⁾。
• 这些速率与光滑流形上非参数函数估计的已知极小最大最优速率一致。
• 理论分析证实，该方法对噪声具有鲁棒性，并在管状邻域采样假设下保持最优收敛性。