[论文解读] Recovery of simultaneous low rank and two-way sparse coefficient matrices, a nonconvex approach

Ming Yu, Varun Gupta+1 more|arXiv (Cornell University)|Feb 20, 2018

Sparse and Compressive Sensing Techniques参考文献 131被引用 11

一句话总结

本文提出了一种非凸优化算法——带硬阈值的梯度下降（GDT），用于恢复同时具有低秩和行/列稀疏性的矩阵。该方法在统计误差范围内实现了线性收敛，理论保证与实验结果表明其在多任务学习和稀疏低秩回归中的性能具有竞争力，且速度优于现有方法。

ABSTRACT

We study the problem of recovery of matrices that are simultaneously low rank and row and/or column sparse. Such matrices appear in recent applications in cognitive neuroscience, imaging, computer vision, macroeconomics, and genetics. We propose a GDT (Gradient Descent with hard Thresholding) algorithm to efficiently recover matrices with such structure, by minimizing a bi-convex function over a nonconvex set of constraints. We show linear convergence of the iterates obtained by GDT to a region within statistical error of an optimal solution. As an application of our method, we consider multi-task learning problems and show that the statistical error rate obtained by GDT is near optimal compared to minimax rate. Experiments demonstrate competitive performance and much faster running speed compared to existing methods, on both simulations and real data sets.

研究动机与目标

• 开发一种高效算法，用于恢复在认知神经科学、成像和多任务学习中常见的同时具有低秩和行/列稀疏性的矩阵。
• 通过直接求解非凸优化问题并采用双凸形式，克服凸松弛方法的局限性。
• 在受限强凸性和光滑性条件下，建立算法线性收敛至最优解的统计误差范围内的性质。
• 通过引入低秩和双侧稀疏结构，实现联合变量选择与降维，从而提升多任务学习中的理论与实验性能。
• 证明该方法的统计误差率接近最优，与极小极大率相比仅差对数因子，且计算速度优于现有方法。

提出的方法

• 将低秩矩阵重参数化为 $\Theta = UV^\top$，其中 $U \in \mathbb{R}^{m_1 \times r}$，$V \in \mathbb{R}^{m_2 \times r}$，将问题转化为在低维因子上的优化。
• 在每次迭代中应用带硬阈值的投影梯度下降法，分别对 $U$ 和 $V$ 强制施加行稀疏性和列稀疏性。
• 使用由秩、行稀疏性和列稀疏性定义的非凸约束集 $\Xi(r, s_1, s_2)$，直接建模目标矩阵结构。
• 通过证明迭代序列线性收敛至距离最优解 $c \cdot \epsilon$ 的区域，建立收敛性，其中 $\epsilon$ 为统计误差。
• 利用损失函数的受限强凸性（RSC）和受限强光滑性（RSS）条件，确保收敛性与稳定性。
• 采用 $\epsilon$-网论证与次高斯尾部界，控制高维设置下的统计误差项 $e_{\text{stat}}$。

实验结果

研究问题

• RQ1 非凸优化方法是否能在恢复同时具有低秩与双侧稀疏结构的矩阵方面优于凸松弛方法？
• RQ2 GDT 算法是否能实现线性收敛至真实参数的统计误差范围内的解？
• RQ3 在高维输入与少量样本的多任务学习设置下，GDT 的统计误差与极小极大率相比如何？
• RQ4 在同时施加低秩与稀疏性约束的条件下，该算法能否保持快速收敛与优异性能？
• RQ5 针对具有结构化稀疏性与低秩约束的非凸集合，能否为带硬阈值的梯度下降建立理论保证？

主要发现

• 在 RSC 与 RSS 条件下，GDT 算法的迭代序列线性收敛至距离最优解 $c \cdot \epsilon$ 的区域，其中 $\epsilon$ 为统计误差。
• GDT 的统计误差率接近最优，在高维设置下与极小极大率仅差对数因子。
• 在模拟与真实数据上的实验表明，GDT 在估计精度上表现优异，且运行速度显著快于现有方法。
• 该方法在多任务学习中成功恢复了低秩且双侧稀疏的系数矩阵，实现了联合变量选择与潜在因子发现。
• 理论分析表明，统计误差 $e_{\text{stat}}$ 以高概率满足 $O\left(\sigma \sqrt{\frac{\bar{\kappa}(s_1)}{n}} \left(s_1 \log p + s_2 \log k + r(s_1 + s_2) \log 6 + \log \frac{1}{\delta}\right)\right)$ 的上界。
• 该算法不要求每次迭代样本独立，且可处理非高斯误差，优于多任务学习中先前的工作。