[论文解读] Semi-Orthogonal Multilinear PCA with Relaxed Start

Qiquan Shi, Haiping Lu|arXiv (Cornell University)|Apr 30, 2015

Gait Recognition and Analysis参考文献 21被引用 4

一句话总结

该论文提出了一种基于张量的降维方法——Semi-Orthogonal Multilinear PCA with Relaxed Start（SO-MPCA-RS），通过仅在一个模式上强制正交性，相较于完全正交方法能捕捉更多方差并提取更多特征。松弛初始化策略通过固定初始投影向量来提升模型泛化能力，在人脸和步态识别数据集上实现了最先进性能，其rank-5识别率相比竞争方法最高提升17.26%。

ABSTRACT

Principal component analysis (PCA) is an unsupervised method for learning low-dimensional features with orthogonal projections. Multilinear PCA methods extend PCA to deal with multidimensional data (tensors) directly via tensor-to-tensor projection or tensor-to-vector projection (TVP). However, under the TVP setting, it is difficult to develop an effective multilinear PCA method with the orthogonality constraint. This paper tackles this problem by proposing a novel Semi-Orthogonal Multilinear PCA (SO-MPCA) approach. SO-MPCA learns low-dimensional features directly from tensors via TVP by imposing the orthogonality constraint in only one mode. This formulation results in more captured variance and more learned features than full orthogonality. For better generalization, we further introduce a relaxed start (RS) strategy to get SO-MPCA-RS by fixing the starting projection vectors, which increases the bias and reduces the variance of the learning model. Experiments on both face (2D) and gait (3D) data demonstrate that SO-MPCA-RS outperforms other competing algorithms on the whole, and the relaxed start strategy is also effective for other TVP-based PCA methods.

研究动机与目标

• 解决现有基于张量到向量投影（TVP）的PCA方法因方差捕捉能力不足和特征提取有限而无法强制实现完全正交性的问题。
• 提出一种新型多线性PCA方法，以在最大化捕捉方差的同时，实现比完全正交方法更多的特征提取。
• 引入一种松弛初始化策略，通过固定初始投影向量来增加偏差并减少方差，从而提升模型泛化能力。
• 在真实世界的2D与3D数据上，通过实证验证SO-MPCA-RS相较于现有TVP-based PCA方法的优越性。

提出的方法

• 提出Semi-Orthogonal Multilinear PCA（SO-MPCA），仅在张量投影的一个模式上施加正交性约束，从而在方差捕捉和特征提取方面优于完全正交方法。
• 采用张量到向量投影（TVP）方法，直接从多维数据（张量）中学习低维特征，避免向量化操作。
• 通过将初始投影向量固定为均匀向量，引入松弛初始化（RS）策略，从而限制假设空间以减少模型方差。
• 采用迭代优化框架，在保持一个模式上半正交性的同时最大化方差，并通过RS策略提升泛化能力。
• 将该方法应用于人脸（2D）与步态（3D）数据，利用标准识别基准评估性能。
• 将松弛初始化策略扩展至其他TVP-based方法（如TROD与UMPCA），证明其具有普遍有效性。

实验结果

研究问题

• RQ1 在张量投影中仅对一个模式施加正交性，是否能实现比完全正交TVP-based PCA更高的方差捕捉能力与更多可提取特征？
• RQ2 一种通过固定初始投影向量实现的松弛初始化策略，是否能提升TVP-based多线性PCA方法的泛化能力？
• RQ3 在2D与3D张量数据上，SO-MPCA-RS相较于最先进PCA-based方法在识别准确率方面表现如何？
• RQ4 松弛初始化策略是否在SO-MPCA之外也有效，是否能持续提升其他TVP-based PCA算法的性能？

主要发现

• 在人脸数据上，SO-MPCA-RS相较于SO-MPCA在rank-1识别率上平均提升9.97%，在步态数据上rank-5识别率提升达17.26%。
• 在人脸识别任务中，SO-MPCA-RS相比最佳竞争方法（TROD）在rank-1率上提升8.08%，在rank-5率上提升1.64%。
• 在步态识别任务中，SO-MPCA-RS相比TROD-RS在rank-1率上平均提升3.03%，在rank-5率上提升11.07%。
• 松弛初始化策略在人脸识别中使TROD平均提升0.32%，UMPCA提升2.15%；在步态识别中分别提升0.94%与5.28%。
• SO-MPCA-RS捕捉的方差多于UMPCA与完全正交方法，且由于初始值固定，首个EMP捕捉的方差少于后续EMP。
• SO-MPCA-RS仅需少数几次迭代即可收敛，表明在松弛初始化框架下优化效率较高。