[论文解读] Sparse pseudoinverses via LP and SDP relaxations of Moore-Penrose

Victor K. Fuentes, Marcia Fampa+1 more|arXiv (Cornell University)|Jun 22, 2016

Advanced Optimization Algorithms Research参考文献 10被引用 11

一句话总结

本文通过使用1-范数最小化和线性规划（LP）与半定规划（SDP）的凸松弛，放松了Moore-Penrose（M-P）性质，提出了八种新的可计算稀疏伪逆公式。该方法在保持关键M-P特性的同时促进稀疏性，通过凸优化实现高效计算，并在稀疏性与M-P条件的符合度之间提供权衡。

ABSTRACT

Pseudoinverses are ubiquitous tools for handling over- and under-determined systems of equations. For computational efficiency, sparse pseudoinverses are desirable. Recently, sparse left and right pseudoinverses were introduced, using 1-norm minimization and linear programming. We introduce several new sparse pseudoinverses by developing linear and semi-definite programming relaxations of the well-known Moore-Penrose properties.

研究动机与目标

• 开发新的稀疏伪逆公式，以在保持Moore-Penrose逆理想特性的同时，通过稀疏性提升计算效率。
• 通过1-范数最小化促进稀疏性，解决大规模系统中稠密伪逆计算效率低下的问题。
• 通过引入M-P条件全集的凸松弛，扩展先前关于稀疏左/右伪逆的研究。
• 利用保持关键结构约束的凸松弛，探索稀疏性与M-P性质保真度之间的权衡。
• 通过LP和SDP公式实现稀疏伪逆的可扩展计算，适用于大规模和低秩更新场景。

提出的方法

• 通过放松四个Moore-Penrose条件：(P1) AHA = A, (P2) HAH = H, (P3) (AH)' = AH, (P4) (HA)' = HA，来构建稀疏伪逆。
• 使用H的1-范数最小化作为促进稀疏性的代理，以诱导稀疏解。
• 对线性M-P条件(P1)、(P3)和(P4)应用线性规划（LP）松弛，通过凸化技术松弛非凸二次条件(P2)。
• 对于非凸二次约束，采用半定规划（SDP）松弛来近似M-P性质，同时保持凸性。
• 引入辅助变量和矩阵松弛，以处理矩阵变量设置下由M-P条件产生的三次和二次项。
• 利用析取切割和多项式系统松弛（例如来自[9]的方法）来加强SDP松弛，提升近似质量。

实验结果

研究问题

• RQ1 凸松弛的Moore-Penrose条件能否产生在稀疏性与原始M-P逆保真度之间取得平衡的稀疏伪逆？
• RQ2 在不同的LP和SDP松弛方案下，通过ℓ₁-最小化实现的稀疏性与M-P性质符合度之间的权衡如何变化？
• RQ3 SDP松弛能否有效近似非凸的M-P条件(P2)，同时保持计算可处理性？
• RQ4 与标准稀疏左/右伪逆相比，新伪逆公式在解质量与稀疏性方面表现如何？
• RQ5 所提出的松弛能否扩展至涉及低秩更新或矩阵分解为稀疏逆与低秩分量的矩阵变量问题？

主要发现

• 所提出的LP和SDP松弛成功生成了满足关键M-P性质的稀疏伪逆，且在稀疏性与精度之间实现了可控的权衡。
• 计算结果显示，对于36×36矩阵，基于SDP的松弛实现了约95%的稀疏度（95%的元素为零），同时保持了对M-P条件的高保真度。
• 对于更大的矩阵，2-范数下残差AHA − A的最大相对误差为1.18，表明对M-P条件(P1)有很强的符合度。
• 对于含11,445个元素的矩阵，SDP松弛生成的伪逆具有89%的稀疏度（89%的元素为零），证明了其在更大系统中的可扩展性。
• 使用析取切割和更强的SDP松弛可改善对非凸M-P条件(P2)的近似，但代价是计算量增加且稀疏度降低。
• 初步结果表明，新公式适用于低秩更新场景，且可能通过受Sherman-Morrison-Woodbury扩展启发的高效更新算法实现。