[论文解读] Structure-adaptive manifold estimation

Nikita Puchkin, Spokoiny Vladimir|arXiv (Cornell University)|Jun 12, 2019

Topological and Geometric Data Analysis参考文献 33被引用 15

一句话总结

本文提出了一种结构自适应流形估计方法，通过在每次迭代中利用前序迭代的结构信息迭代优化邻域权重，在大噪声条件下仍能实现近乎最优（oracle-level）的性能。该方法通过将观测值投影到学习得到的流形上，自适应地对点云进行去噪，且在噪声衰减足够快时，理论上保证了在Hausdorff损失下的渐近最优性。

ABSTRACT

We consider a problem of manifold estimation from noisy observations. Many manifold learning procedures locally approximate a manifold by a weighted average over a small neighborhood. However, in the presence of large noise, the assigned weights become so corrupted that the averaged estimate shows very poor performance. We suggest a structure-adaptive procedure, which simultaneously reconstructs a smooth manifold and estimates projections of the point cloud onto this manifold. The proposed approach iteratively refines the weights on each step, using the structural information obtained at previous steps. After several iterations, we obtain nearly "oracle" weights, so that the final estimates are nearly efficient even in the presence of relatively large noise. In our theoretical study, we establish tight lower and upper bounds proving asymptotic optimality of the method for manifold estimation under the Hausdorff loss, provided that the noise degrades to zero fast enough.

研究动机与目标

• 为解决现有流形学习方法在假设噪声可忽略或点精确位于流形上时的局限性，这些假设在真实噪声条件下会失效。
• 在噪声较大且分布未知的情况下，开发一种实用且理论上最优的流形估计程序。
• 通过自适应、迭代优化局部权重，同时估计流形并将噪声观测投影到其上。
• 通过提出一种在弱、现实的噪声假设下有效的算法，弥合极端假设之间的差距——即忽略噪声与已知噪声分布。

提出的方法

• 该方法采用迭代重加权方案，在每一步中利用当前流形估计的结构信息来优化邻域权重。
• 结合局部线性逼近与投影到局部估计的切空间，以提升去噪效果与流形对齐精度。
• 算法采用基于核的加权方案并结合自适应带宽选择，权重根据当前流形估计进行更新。
• 在每次迭代中，通过局部主成分分析（PCA）估计切空间，并将更新投影到该空间以保证流形一致性。
• 该过程受均值漂移算法启发，但通过迭代优化邻域权重实现结构自适应，从而实现扩展。
• 在收敛后得到最终估计，实现近乎最优的投影与平滑、去噪的流形。

实验结果

研究问题

• RQ1 在存在大且未知噪声的情况下，流形学习方法能否实现近乎最优（oracle-level）的性能？
• RQ2 如何利用前序迭代中的结构信息来改进局部流形逼近中的权重估计？
• RQ3 当噪声不随样本量增加而消失时，流形估计在Hausdorff损失下的极小极大最优率是什么？
• RQ4 是否可实现一种完全自适应的非参数方法，在不假设噪声分布知识的前提下达到渐近最优？
• RQ5 与标准局部平均相比，权重的迭代优化如何带来更优的流形估计？

主要发现

• 所提方法在Hausdorff损失下实现了流形估计的渐近最优性，前提是噪声幅度足够快地衰减至零。
• 迭代重加权方案实现了近乎最优（oracle-level）的性能，显著优于大噪声条件下的标准局部平均方法。
• 理论分析建立了紧致的下界与上界，证实了该方法在所考虑设定下的极小极大最优性。
• 由于方法能自适应地学习流形结构并利用结构反馈优化权重，因此对大噪声具有鲁棒性。
• 权重估计过程中误差衰减的理论边界支持了算法的收敛性。