[论文解读] Personalized PCA: Decoupling Shared and Unique Features

Naichen Shi, Raed Al Kontar|arXiv (Cornell University)|Jul 17, 2022

Image Retrieval and Classification Techniques被引用 7

一句话总结

本文提出个性化主成分分析（PerPCA），一种新颖方法，通过使用相互正交的主成分，将异质数据集中的共享（全局）特征与独特（局部）特征解耦。通过在Stiefel流形上建立约束优化问题，并开发基于广义重描的联邦算法，PerPCA在温和条件下可证明地恢复全局与局部分量，实现线性收敛，并在多种数据源的特征提取与预测任务中表现优异。

ABSTRACT

In this paper, we tackle a significant challenge in PCA: heterogeneity. When data are collected from different sources with heterogeneous trends while still sharing some congruency, it is critical to extract shared knowledge while retaining the unique features of each source. To this end, we propose personalized PCA (PerPCA), which uses mutually orthogonal global and local principal components to encode both unique and shared features. We show that, under mild conditions, both unique and shared features can be identified and recovered by a constrained optimization problem, even if the covariance matrices are immensely different. Also, we design a fully federated algorithm inspired by distributed Stiefel gradient descent to solve the problem. The algorithm introduces a new group of operations called generalized retractions to handle orthogonality constraints, and only requires global PCs to be shared across sources. We prove the linear convergence of the algorithm under suitable assumptions. Comprehensive numerical experiments highlight PerPCA's superior performance in feature extraction and prediction from heterogeneous datasets. As a systematic approach to decouple shared and unique features from heterogeneous datasets, PerPCA finds applications in several tasks, including video segmentation, topic extraction, and feature clustering.

研究动机与目标

• 解决标准PCA在处理具有冲突趋势与独特模式的多源异质数据时的局限性。
• 开发一种方法，同时提取共享（全局）与独特（局部）特征，同时保持二者之间的正交性。
• 设计一种完全联邦化的优化算法，仅共享全局主成分，确保在分布式环境中的隐私性与可扩展性。
• 在温和条件下，证明全局与局部分量的理论收敛性与可识别性，即使协方差矩阵显著不同。
• 在异质数据集上，展示特征提取、预测以及聚类与异常检测等下游分析任务中的卓越性能。

提出的方法

• 提出一种约束优化框架，通过在全局与局部主成分子空间之间施加正交性约束，最小化经验重构误差。
• 将数据建模为相互正交的全局主成分（跨源共享）与局部主成分（每个源特有）的组合，实现对共性与个性模式的联合拟合。
• 提出一种基于分布式Stiefel梯度下降的完全联邦化算法，利用广义重描高效处理正交性约束。
• 引入一组新型操作——广义重描——在优化过程中保持正交性，同时仅需在客户端之间传输全局主成分。
• 通过证明在适当假设下（包括有界曲率与步长条件）算法的线性收敛性，获得收敛性保证。
• 利用投影矩阵与基于迹的不等式分析估计投影矩阵与真实投影矩阵之间的对齐性，建立理论恢复边界。

实验结果

研究问题

• RQ1 我们能否在协方差结构显著不同的异质数据集中，理论上识别并恢复共享与独特特征？
• RQ2 如何设计一种分布式优化算法，通过最小化通信量来保护隐私，同时确保收敛到真实的全局与局部分量？
• RQ3 正交性约束对联邦设置中全局与局部主成分的可识别性与恢复性能有何影响？
• RQ4 与标准PCA相比，PerPCA在异质数据上的特征提取准确率与预测性能如何？
• RQ5 共享与独特特征的解耦是否能提升聚类、分类与异常检测等下游任务的性能？

主要发现

• 在可识别性条件下，PerPCA即使在各源间协方差矩阵差异显著时，也能可证明地恢复全局与局部主成分。
• 所提出的联邦算法在标准假设下实现线性收敛至最优解，且仅需在客户端间共享全局主成分。
• 数值实验表明，PerPCA在异质数据集上的特征提取与预测准确率方面优于标准PCA，尤其在数据呈现冲突趋势时表现更优。
• 通过操作解耦的局部特征，该方法在聚类与分类等下游任务中实现更优性能，减少负面知识迁移。
• 通过监控局部（独特）特征的变化，异常检测性能得到增强，因为这些特征对偏差更为敏感，相较于共享分量。
• 理论分析证实，基于迹的目标函数可确保估计投影矩阵与真实投影矩阵之间的对齐性，收敛边界通过谱理论与矩阵不等式技术推导得出。