[论文解读] Non-linear Dimensionality Regularizer for Solving Inverse Problems

Ravi Garg, Anders Eriksson+1 more|arXiv (Cornell University)|Mar 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用 9

一句话总结

本文提出了一种新颖的非线性降维正则化器，通过在核主成分分析（kernel-PCA）的隐式特征空间中强制实施低秩结构，实现了无需预训练的鲁棒逆问题求解。通过最小化嵌入核空间中的形状向量的核范数，该方法在非刚性结构光流与缺失数据恢复任务中达到最先进性能，即使在噪声和遮挡条件下依然表现优异。

ABSTRACT

Consider an ill-posed inverse problem of estimating causal factors from observations, one of which is known to lie near some (un- known) low-dimensional, non-linear manifold expressed by a predefined Mercer-kernel. Solving this problem requires simultaneous estimation of these factors and learning the low-dimensional representation for them. In this work, we introduce a novel non-linear dimensionality regulariza- tion technique for solving such problems without pre-training. We re-formulate Kernel-PCA as an energy minimization problem in which low dimensionality constraints are introduced as regularization terms in the energy. To the best of our knowledge, ours is the first at- tempt to create a dimensionality regularizer in the KPCA framework. Our approach relies on robustly penalizing the rank of the recovered fac- tors directly in the implicit feature space to create their low-dimensional approximations in closed form. Our approach performs robust KPCA in the presence of missing data and noise. We demonstrate state-of-the-art results on predicting missing entries in the standard oil flow dataset. Additionally, we evaluate our method on the challenging problem of Non-Rigid Structure from Motion and our approach delivers promising results on CMU mocap dataset despite the presence of significant occlusions and noise.

研究动机与目标

• 解决解位于未知非线性低维流形附近的病态逆问题挑战。
• 克服标准非线性降维技术需要预训练且在缺失数据和噪声下表现不佳的局限性。
• 开发一种正则化框架，直接惩罚核映射特征空间中数据的秩，以强制实现低维结构。
• 实现与能量最小化公式直接集成，无需预像计算或先验流形学习。
• 展示该方法在非刚性结构光流与矩阵补全等实际问题中的适用性，尤其在具有挑战性的条件下。

提出的方法

• 将核主成分分析重新表述为带有核范数正则化项的能量最小化问题，以在隐式特征空间中强制实现低秩结构。
• 利用核技巧将数据隐式映射到再生核希尔伯特空间（RKHS），并通过形状向量的核范数施加低秩约束。
• 通过最小化特征空间中因子分解表示的核范数，直接惩罚核嵌入数据矩阵的秩。
• 将正则化器集成到变分能量最小化框架中，用于逆问题，如非刚性结构光流（NRSfM）。
• 使用惩罚法求解所得优化问题，对形状和旋转参数交替最小化。
• 通过在特征空间中直接嵌入低维性约束，避免依赖预像估计，从而提升对噪声和缺失数据的鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不依赖预训练或预像计算的前提下，直接在核主成分分析框架中构建非线性降维正则化器？
• RQ2 如何在核主成分分析公式隐式特征空间中强制实现低秩结构，以提升对噪声和缺失数据的鲁棒性？
• RQ3 此类正则化器是否能在具有遮挡和噪声观测的非刚性结构光流等具有挑战性的逆问题中超越线性降维约束？
• RQ4 所提方法是否在无需依赖生成建模或训练数据的前提下，适用于能量最小化框架中的逆问题求解，并具备可扩展性和有效性？
• RQ5 核特征空间中的核范数正则化与病态逆问题中现有秩最小化的凸松弛方法相比如何？

主要发现

• 所提出的非线性降维正则化器在含有缺失条目的油流数据集上实现了矩阵补全任务的最先进性能。
• 在CMU动作捕捉数据集上，该方法在非刚性结构光流任务中显著优于线性方法，即使在存在大量噪声和遮挡的情况下亦然。
• 通过在核嵌入特征空间中直接强制实现低秩结构，该方法表现出对缺失数据和噪声的鲁棒性。
• 带有核范数正则化的能量最小化框架能够收敛至满足KKT条件的解，并具备最优性的理论保证。
• 该方法可直接集成到逆问题求解器中，无需预像计算，这与标准核主成分分析流程不同。
• 该方法具有通用性，适用于广泛的无监督推理问题，包括三维重建、去噪以及带形状先验的对象分割。