[论文解读] Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning

Jicong Fan, Yuqian Zhang+1 more|arXiv (Cornell University)|Dec 15, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用 5

一句话总结

本文提出多项式矩阵补全（PMC），一种新颖的方法，用于在低内在维数多项式生成模型下完成高秩矩阵。通过将数据映射到高维多项式特征空间并利用基于核的优化方法最小化秩，PMC 在缺失数据插补、子空间聚类、动作捕捉恢复和归纳学习任务中，相较于最先进方法实现了更优的恢复精度。

ABSTRACT

This paper develops new methods to recover the missing entries of a high-rank or even full-rank matrix when the intrinsic dimension of the data is low compared to the ambient dimension. Specifically, we assume that the columns of a matrix are generated by polynomials acting on a low-dimensional intrinsic variable, and wish to recover the missing entries under this assumption. We show that we can identify the complete matrix of minimum intrinsic dimension by minimizing the rank of the matrix in a high dimensional feature space. We develop a new formulation of the resulting problem using the kernel trick together with a new relaxation of the rank objective, and propose an efficient optimization method. We also show how to use our methods to complete data drawn from multiple nonlinear manifolds. Comparative studies on synthetic data, subspace clustering with missing data, motion capture data recovery, and transductive learning verify the superiority of our methods over the state-of-the-art.

研究动机与目标

• 解决低秩矩阵补全（LRMC）在处理具有非线性或多子空间结构的高秩矩阵时，因内在维度低而带来的局限性。
• 提出一种新型生成模型，其中矩阵的列由低维潜在变量的多项式映射生成。
• 提出一种基于核的优化框架，通过在高维多项式特征空间中最小化秩来恢复缺失条目。
• 实现对来自多个非线性流形或复杂多子空间结构的数据的有效矩阵补全。
• 在不完整数据上的子空间聚类、动作捕捉恢复与归纳学习任务中，展示最先进性能。

提出的方法

• 假设数据矩阵 X 由一个解析函数 f 从低维潜在变量 z ∈ ℝ^d 映射到 ℝ^m 生成，导致 X 为高秩或满秩。
• 应用 q 阶多项式特征映射 φ，将 X 映射到更高维空间，使得变换后的矩阵 φ(X) 近似为低秩。
• 在特征空间中将矩阵补全问题表述为秩最小化问题，通过核技巧对核范数提出一种新型松弛方法。
• 提出两种变体：PMC-S（采用 Schatten-p 范数松弛）和 PMC-W（采用加权核范数），均通过交替方向乘乘法法（ADMM）高效优化。
• 利用核技巧隐式计算高维特征空间中的内积，避免显式计算，从而提升计算效率。
• 理论分析表明，φ(X) 被低秩矩阵近似时的误差随多项式阶数提高和函数更平滑而减小，从而验证了该方法的合理性。

实验结果

研究问题

• RQ1 多项式特征映射能否有效捕捉由非线性映射生成的高秩矩阵的低内在维数结构？
• RQ2 在基于核诱导的多项式特征空间中进行秩最小化，是否能优于传统低秩矩阵补全方法，在恢复非线性或多子空间数据的缺失条目方面表现更优？
• RQ3 在所提出的多项式生成模型下，精确恢复所需的理论采样复杂度是多少？
• RQ4 所提出方法在子空间聚类、动作捕捉恢复与不完整数据上的归纳学习等实际应用中的表现如何？
• RQ5 与现有方法相比，该方法是否能更有效地处理来自多个非线性流形或复杂多子空间结构的数据？

主要发现

• 在多项式阶数 k 逐渐增大的合成数据上，PMC-S 与 PMC-W 的恢复误差（RSE）显著低于 LRMC、SRMC 及其他最先进方法。
• 在 Hopkins 155 数据集上，PMC-S 与 PMC-W 的子空间聚类误差相比 LRMC 最多降低 50%，相比 SRMC 最多降低 30%，尤其在高缺失率下表现更优。
• 在动作捕捉数据恢复任务中，PMC-W 的相对绝对误差（RAE）相比 LRMC 降低 40%，相比 SRMC 降低 25%，即使在高缺失率和特征尺度变化较大的情况下仍表现优异。
• 在归纳学习任务中，PMC-S 与 PMC-W 相比使用零值填充插补的 SVM，分类误差最多降低 50%；在 Mice Protein 与 Shuttle 等数据集上，相比 LRMC 与 SRMC，误差降低 20%–40%。
• 理论分析证实，所提方法的采样复杂度随内在维数 d 与多项式阶数 q 的提升而有利增长，支持其在高秩场景下优于 LRMC 的优越性。
• PMC-W 在所有基准测试中均持续优于 PMC-S，表明加权核范数正则化能提升矩阵补全的鲁棒性与准确性。