[论文解读] Two-Manifold Problems with Applications to Nonlinear System Identification

Byron Boots, Geoffrey J. Gordon|arXiv (Cornell University)|Jun 18, 2012

Control Systems and Identification参考文献 31被引用 22

一句话总结

该论文提出了一种双流形学习框架，通过在再生核希尔伯特空间（RKHS）中使用交叉协方差算子，联合重建两个噪声相关流形，利用工具变量抑制噪声并降低偏差。该方法通过学习低维、可解释的状态空间流形，显著提升了非线性系统识别性能，在真实世界的卡丁车数据集上，100步预测误差最高降低了30%。

ABSTRACT

Recently, there has been much interest in spectral approaches to learning manifolds---so-called kernel eigenmap methods. These methods have had some successes, but their applicability is limited because they are not robust to noise. To address this limitation, we look at two-manifold problems, in which we simultaneously reconstruct two related manifolds, each representing a different view of the same data. By solving these interconnected learning problems together, two-manifold algorithms are able to succeed where a non-integrated approach would fail: each view allows us to suppress noise in the other, reducing bias. We propose a class of algorithms for two-manifold problems, based on spectral decomposition of cross-covariance operators in Hilbert space, and discuss when two-manifold problems are useful. Finally, we demonstrate that solving a two-manifold problem can aid in learning a nonlinear dynamical system from limited data.

研究动机与目标

• 解决标准流形学习方法的根本局限性——对高维观测中噪声的敏感性。
• 在数据受噪声污染的场景下，特别是训练数据有限或噪声较多的情况下，开发一种抗噪的流形学习框架。
• 将工具变量技术整合到流形学习中，实现对真实底层流形结构的一致估计。
• 展示双流形学习在识别具有可解释、低维状态空间的非线性动力系统中的实用性。

提出的方法

• 将双流形问题建模为联合学习任务，其中同一数据的两个视图被表示为共同潜在流形的噪声观测。
• 在再生核希尔伯特空间（RKHS）中使用交叉协方差算子，关联两个视图并联合估计潜在流形结构。
• 应用工具变量原理：每个流形作为另一个流形的工具变量，通过使噪声与真实信号不相关，实现一致估计。
• 通过交叉协方差算子的谱分解提取保留真实流形几何结构的低维嵌入。
• 通过将动力系统的状态空间嵌入到学习到的流形上，并使用基于核的谱方法，将该方法扩展至非线性系统识别。
• 使用配备惯性测量和视觉追踪的卡丁车平台验证该方法，将流形HMM与标准HMM、卡尔曼滤波器及RBF基模型进行比较。

实验结果

研究问题

• RQ1 与单视图流形学习相比，联合学习两个噪声相关流形是否能提升对噪声的鲁棒性？
• RQ2 如何有效将工具变量整合到基于核的流形学习中，以在存在噪声时降低偏差？
• RQ3 双流形学习能否提升非线性动力系统中系统识别的准确性和可解释性？
• RQ4 所提方法在预测复杂非线性时间序列方面，与现有最先进方法相比，性能优越程度如何？

主要发现

• 该双流形方法显著降低了由噪声引起的嵌入偏差，在噪声瑞士卷数据上优于标准流形学习技术。
• 在卡丁车数据集上，与次优基线相比，该方法在100步预测中实现了30%的均方根预测误差（RMS）降低。
• 使用拉普拉斯特征映射核的双流形HMM所学习到的状态空间最准确地重建了真实的2D卡丁车轨迹，优于卡尔曼滤波器和RBF基HMM。
• 所提算法成功识别出非线性动力系统的低维、可解释的状态空间流形，实现了高精度的长时预测。
• 交叉协方差谱分解的使用使得即使在数据受噪声污染的情况下，也能实现对真实流形的一致估计。
• 该方法在非线性系统识别的预测准确性方面表现出最先进性能，尤其在数据量较少的场景下表现突出。