[论文解读] Sparse Plus Low Rank Matrix Decomposition: A Discrete Optimization Approach

Dimitris Bertsimas, Ryan Cory-Wright+1 more|arXiv (Cornell University)|Sep 26, 2021

Sparse and Compressive Sensing Techniques参考文献 32被引用 4

一句话总结

本文提出一种针对稀疏加低秩（SLR）矩阵分解的离散优化方法，通过一种新颖的非凸公式直接建模稀疏性和低秩结构。该方法引入一种可扩展至 $ n = 10,000 $ 的交替最小化启发式算法，一种用于解质量验证的强半定松弛方法，以及一种分支定界算法，可在合理时间内对小规模实例（$ n = 25 $）求解至可认证的近似最优解，在稀疏性、秩和均方误差方面优于当前最先进方法。

ABSTRACT

We study the Sparse Plus Low-Rank decomposition problem (SLR), which is the problem of decomposing a corrupted data matrix into a sparse matrix of perturbations plus a low-rank matrix containing the ground truth. SLR is a fundamental problem in Operations Research and Machine Learning which arises in various applications, including data compression, latent semantic indexing, collaborative filtering, and medical imaging. We introduce a novel formulation for SLR that directly models its underlying discreteness. For this formulation, we develop an alternating minimization heuristic that computes high-quality solutions and a novel semidefinite relaxation that provides meaningful bounds for the solutions returned by our heuristic. We also develop a custom branch-and-bound algorithm that leverages our heuristic and convex relaxations to solve small instances of SLR to certifiable (near) optimality. Given an input $n$-by-$n$ matrix, our heuristic scales to solve instances where $n=10000$ in minutes, our relaxation scales to instances where $n=200$ in hours, and our branch-and-bound algorithm scales to instances where $n=25$ in minutes. Our numerical results demonstrate that our approach outperforms existing state-of-the-art approaches in terms of rank, sparsity, and mean-square error while maintaining a comparable runtime.

研究动机与目标

• 解决将受损数据矩阵分解为稀疏扰动和低秩分量的挑战，这是机器学习与运筹学中的核心问题。
• 通过直接建模稀疏性和低秩结构的离散特性，克服现有非凸与凸方法的局限性。
• 开发一种可扩展的启发式算法，可在数分钟内为大规模SLR问题（$ n = 10,000 $）计算高质量解。
• 通过一种新颖的半定松弛方法，提供紧致且计算可行的下界，用于评估解的质量。
• 利用集成启发式与松弛方法的分支定界框架，实现对小规模实例（$ n = 25 $）的可认证近似最优解。

提出的方法

• 提出新公式（1），直接强制实现精确稀疏性（$ \norm{\bm{Y}}_0 \triangleq \text{非零元个数} \triangleq k_1 $）与秩约束（$ \text{Rank}(\bm{X}) \triangleq k_0 $），而非依赖正则化。
• 设计算法1：一种交替最小化启发式算法，通过迭代优化低秩与稀疏分量，利用SVD与硬阈值化方法实现可扩展性。
• 开发一种半定松弛（20），可提供最优目标值的强下界，其解释为对稀疏与低秩分量的反向Huber惩罚。
• 将启发式与松弛方法集成至分支定界框架（算法2）中，利用松弛方法在每个节点计算下界，利用启发式生成当前最优解。
• 采用自定义分支规则与热启动策略，加速分支定界树的收敛。
• 利用问题的离散结构特性，收紧下界并提升解质量，同时不损失可扩展性。

实验结果

研究问题

• RQ1 针对SLR分解的直接离散优化公式是否能在稀疏性、低秩逼近质量与重构误差方面优于现有非凸与凸方法？
• RQ2 凸半定松弛在多大程度上能为非凸SLR问题的最优解提供紧致下界，从而实现近似可认证的最优性？
• RQ3 所提出的交替最小化启发式在实际中如何扩展？能否在大规模实例（$ n = 10,000 $）上实现高质量解？
• RQ4 基于启发式与松弛方法的分支定界算法是否能在合理时间内将小规模SLR实例（$ n = 25 $）求解至可认证的近似最优解？
• RQ5 在使用精确实现与加速实现的启发式时，解质量与计算成本之间存在何种权衡？

主要发现

• 算法1（交替最小化启发式）在所有试验中，其低秩矩阵重构的均方误差更低，且秩更小，优于ScaledGD、AccAltProj与fRPCA。
• 该启发式产生的解比ScaledGD与AccAltProj更稀疏，且稀疏矩阵重构误差始终更低。
• 对于 $ n = 10,000 $，算法1在10分钟内即可计算出高质量解，展现出强大的可扩展性。
• 半定松弛提供了紧致的下界，可扩展至 $ n = 200 $，且在所有测试实例中解的间隙保持较小。
• 算法2（分支定界）可将实例规模扩展至 $ n = 25 $，实现可认证的近似最优解，最终解仅比启发式解略优。
• 算法1的加速实现版本比精确版本运行更快，且在高信噪比环境下，其重构误差仍低于ScaledGD。