[论文解读] Unlabeled Principal Component Analysis

Yunzhen Yao, Liangzu Peng+1 more|arXiv (Cornell University)|Jan 23, 2021

Sparse and Compressive Sensing Techniques参考文献 35被引用 9

一句话总结

本文提出无标签主成分分析（UPCA），一种在列条目被任意重排时恢复低秩数据矩阵的方法。通过代数几何方法，证明在一般条件下，真实列空间可唯一恢复（至坐标排列为止），并提出一种两阶段算法，结合无对应关系的鲁棒PCA与回归，高效重建重排数据，在标准硬件上对人脸图像块实现亚秒级性能。

ABSTRACT

We consider the problem of principal component analysis from a data matrix where the entries of each column have undergone some unknown permutation, termed Unlabeled Principal Component Analysis (UPCA). Using algebraic geometry, we establish that for generic enough data, and up to a permutation of the coordinates of the ambient space, there is a unique subspace of minimal dimension that explains the data. We show that a permutation-invariant system of polynomial equations has finitely many solutions, with each solution corresponding to a row permutation of the ground-truth data matrix. Allowing for missing entries on top of permutations leads to the problem of unlabeled matrix completion, for which we give theoretical results of similar flavor. We also propose a two-stage algorithmic pipeline for UPCA suitable for the practically relevant case where only a fraction of the data has been permuted. Stage-I of this pipeline employs robust-PCA methods to estimate the ground-truth column-space. Equipped with the column-space, stage-II applies methods for linear regression without correspondences to restore the permuted data. A computational study reveals encouraging findings, including the ability of UPCA to handle face images from the Extended Yale-B database with arbitrarily permuted patches of arbitrary size in $0.3$ seconds on a standard desktop computer.

研究动机与目标

• 解决当每列中的数据条目被任意重排时主成分分析的挑战，此时标准PCA不再适用。
• 在一般条件下，建立对真实数据子空间唯一恢复（至坐标排列为止）的理论保证。
• 将框架扩展至处理缺失条目，引入无标签矩阵补全，具有相似的理论基础。
• 设计一种实用的两阶段算法，利用无对应关系的鲁棒PCA与回归，实现对部分重排的真实世界数据的重建。
• 在真实世界数据集上展示经验有效性，特别是对任意重排图像块的人脸图像。

提出的方法

• 使用代数几何证明：对于一般数据，能够解释数据的最小维子空间在坐标排列下唯一。
• 构建一组置换不变的多项式方程组，其解对应于真实数据矩阵的行排列。
• 提出两阶段算法：第一阶段利用鲁棒PCA在存在重排的情况下估计真实列空间。
• 第二阶段应用无对应关系的线性回归方法，利用估计的列空间恢复原始数据结构。
• 采用计算管道，高效且可扩展，在标准硬件上对人脸图像块实现0.3秒内完成重建。
• 将框架扩展至处理缺失条目，提供无标签矩阵补全的理论结果。

实验结果

研究问题

• RQ1 在列条目被任意重排的数据矩阵中，真实低秩子空间是否能唯一恢复（至坐标排列为止）？
• RQ2 无标签矩阵恢复的解空间结构如何？在一般条件下存在多少个解？
• RQ3 如何将鲁棒PCA与无对应关系的回归结合，以在实际中重建重排数据？
• RQ4 当条目既被重排又缺失时，矩阵补全的理论保证是什么？
• RQ5 所提方法在重建真实世界数据（如具有任意图像块重排的人脸图像）方面效率如何？

主要发现

• 对于一般数据，存在唯一一个最小维子空间可解释重排后的数据，至坐标排列为止。
• 从问题导出的多项式方程组有有限多个解，每个解对应于真实数据矩阵的一个行排列。
• 两阶段算法在高精度下成功重建了重排数据，即使仅部分数据被重排。
• 在Extended Yale-B人脸数据库上，该方法在标准台式计算机上仅用0.3秒即可重建具有任意重排图像块的图像。
• 无标签矩阵补全的理论结果将框架扩展至同时处理缺失条目与任意重排。
• 实证结果证实了该方法的鲁棒性与高效性，展示了其在真实世界应用中的实际可行性。