[论文解读] Only Bayes should learn a manifold (on the estimation of differential geometric structure from data)

Søren Hauberg|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 15

一句话总结

本文主张唯有概率（贝叶斯）方法才能从高维数据中可靠地恢复数据流形的真实黎曼几何结构。它表明，非概率核方法和深度生成模型由于缺乏不确定性量化，无法保持内在几何结构，而贝叶斯方法则通过随机黎曼几何自然支持插值和距离度量等有意义的几何操作。

ABSTRACT

We investigate learning of the differential geometric structure of a data manifold embedded in a high-dimensional Euclidean space. We first analyze kernel-based algorithms and show that under the usual regularizations, non-probabilistic methods cannot recover the differential geometric structure, but instead find mostly linear manifolds or spaces equipped with teleports. To properly learn the differential geometric structure, non-probabilistic methods must apply regularizations that enforce large gradients, which go against common wisdom. We repeat the analysis for probabilistic methods and find that under reasonable priors, the geometric structure can be recovered. Fully exploiting the recovered structure, however, requires the development of stochastic extensions to classic Riemannian geometry. We take early steps in that regard. Finally, we partly extend the analysis to modern models based on neural networks, thereby highlighting geometric and probabilistic shortcomings of current deep generative models.

研究动机与目标

• 调查标准非概率流形学习方法为何无法恢复数据流形的真实微分几何结构。
• 表明由于适当的不确定性量化，概率方法自然恢复黎曼结构。
• 确立对黎曼几何进行随机扩展的必要性，以充分挖掘潜在空间中的几何结构。
• 识别当前深度生成模型在平滑性假设和不确定性估计方面存在的根本性几何与概率缺陷。
• 主张若缺乏不确定性量化，流形学习方法本质上会产生任意的、非几何的表示，这是由于倾向于在数据流形的孔洞处进行插值。

提出的方法

• 在标准正则化下分析基于核的非概率方法，表明它们仅能恢复线性或人为构造的流形，且存在‘瞬移’现象。
• 制定从潜在空间 Z 到观测空间 X 的映射 f: Z → X 的概率估计，证明此类方法能恢复潜在空间 Z 上的真实黎曼度量。
• 引入随机黎曼流形的概念，其中不确定性自然诱导出度量和几何结构。
• 利用生成模型的拉回度量来定义内在距离和测地线，表明确定性方法因缺乏不确定性而扭曲这些结构。
• 将分析应用于变分自编码器和基于神经网络的模型，揭示仅靠平滑性正则化会引入几何偏差。
• 提出不确定性量化作为一种拓扑信号，可揭示流形中的孔洞和边界，类似于经典几何中的连通性。

实验结果

研究问题

• RQ1 为何即使在无限且无噪声的数据下，非概率核方法仍无法恢复数据流形的真实黎曼几何？
• RQ2 概率模型中的不确定性量化如何实现对距离、测地线等内在几何结构的恢复？
• RQ3 当前深度生成模型在学习几何结构方面存在哪些根本性局限？它们与贝叶斯方法有何本质区别？
• RQ4 能否发展出黎曼几何的随机扩展，以支持生成模型潜在空间中的有意义几何操作？
• RQ5 为何 VAE 等模型中的确定性测地线倾向于穿过数据流形的孔洞？不确定性如何防止此类现象？

主要发现

• 即使在无限数据条件下，非概率核方法也无法恢复潜在流形的真实黎曼结构，反而产生诸如‘瞬移’之类的人为结构。
• 概率方法自然恢复潜在空间上的真实黎曼度量，从而支持明确定义的距离、插值点和度量。
• 标准深度生成模型中缺乏不确定性量化，导致有害偏差：测地线倾向于穿过数据流形的孔洞而非沿其表面延伸。
• 不确定性量化作为一种拓扑信号，可揭示流形中的孔洞和边界，这对实现全局一致的几何表示至关重要。
• 在随机流形上最小化期望曲线能量，并不意味着最小化期望曲线长度，表明随机黎曼几何需要新的几何原理。
• 当前深度生成模型由于样本路径不连续且不确定性估计不佳，即使使用启发式不确定性近似，仍无法支持操作性几何操作。