[论文解读] Unified Scalable Equivalent Formulations for Schatten Quasi-Norms

Fanhua Shang, Yuanyuan Liu+1 more|arXiv (Cornell University)|Jun 2, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用 10

一句话总结

本文通过证明矩阵的Schatten-$p$准范数在特定参数条件下等价于其因子矩阵的Schatten范数的乘积或加权和，提出了Schatten准范数的统一、可扩展的等价形式。对于 $p > 1/2$，Schatten-$p$准范数等价于最小化两个因子矩阵的Schatten-$2p$范数，从而实现无需迭代SVD或EVD的高效、平滑优化，克服了现有Schatten准范数最小化方法的可扩展性限制。

ABSTRACT

The Schatten quasi-norm can be used to bridge the gap between the nuclear norm and rank function, and is the tighter approximation to matrix rank. However, most existing Schatten quasi-norm minimization (SQNM) algorithms, as well as for nuclear norm minimization, are too slow or even impractical for large-scale problems, due to the SVD or EVD of the whole matrix in each iteration. In this paper, we rigorously prove that for any p, p1, p2>0 satisfying 1/p=1/p1+1/p2, the Schatten-p quasi-norm of any matrix is equivalent to minimizing the product of the Schatten-p1 norm (or quasi-norm) and Schatten-p2 norm (or quasi-norm) of its two factor matrices. Then we present and prove the equivalence relationship between the product formula of the Schatten quasi-norm and its weighted sum formula for the two cases of p1 and p2: p1=p2 and p1 eq p2. In particular, when p>1/2, there is an equivalence between the Schatten-p quasi-norm of any matrix and the Schatten-2p norms of its two factor matrices, where the widely used equivalent formulation of the nuclear norm can be viewed as a special case. That is, various SQNM problems with p>1/2 can be transformed into the one only involving smooth, convex norms of two factor matrices, which can lead to simpler and more efficient algorithms than conventional methods. We further extend the theoretical results of two factor matrices to the cases of three and more factor matrices, from which we can see that for any 0

研究动机与目标

• 为解决现有Schatten准范数最小化（SQNM）算法计算成本过高的问题，这些算法在每次迭代中依赖昂贵的奇异值分解（SVD）或特征值分解（EVD）。
• 开发一种统一、可扩展的Schatten准范数等价形式，避免非光滑、非凸优化，实现高效的大规模计算。
• 将已知的核范数（Schatten-1范数的特例）的双线性谱惩罚推广至任意Schatten-$p$准范数（$0 < p < 1$）。
• 将等价关系从双因子扩展到三因子及多因子矩阵分解，实现对任意 $0 < p < 1$ 的平滑、凸优化。

提出的方法

• 证明对于任意满足 $1/p = 1/p_1 + 1/p_2$ 的 $p, p_1, p_2 > 0$，矩阵 $X$ 的Schatten-$p$准范数等价于最小化其两个因子矩阵 $U$ 和 $V$ 的Schatten-$p_1$ 与Schatten-$p_2$ 范数的乘积，其中 $X = UV^T$。
• 在 $p_1 = p_2$ 和 $p_1 \neq p_2$ 两种情况下，建立乘积形式与加权和形式之间Schatten准范数的等价性。
• 证明当 $p > 1/2$ 时，Schatten-$p$准范数等价于最小化两个因子矩阵的Schatten-$2p$范数，从而将非光滑、非凸问题转化为平滑、凸问题。
• 将等价性扩展至三个及以上因子矩阵，证明对于任意 $0 < p < 1$，Schatten-$p$准范数等价于最小化所有因子矩阵的Schatten-$(\lfloor 1/p \rfloor + 1)p$范数的平均值。
• 利用Hölder不等式和拉格朗日乘子法推导出等价性的闭式表达式，确保数学严谨性与普遍性。
• 证明核范数、双核范数、Frobenius/核范数及三核范数准范数均为所提框架的特例。

实验结果

研究问题

• RQ1 能否为任意 $p > 0$ 的Schatten-$p$准范数推导出统一、可扩展的等价形式？
• RQ2 在指数满足调和平均条件时，Schatten-$p$准范数是否与因子矩阵Schatten范数的乘积或加权和存在普遍等价性？
• RQ3 该等价性能否从双因子扩展至三因子或更多因子，且在 $0 < p < 1$ 时是否保持平滑性与凸性？
• RQ4 所提形式是否可消除SQNM中每一步优化所需的迭代SVD或EVD，从而实现高效的大规模优化？
• RQ5 已知的准范数（如核范数、双核范数、三核范数）是否为所提通用框架的特例？

主要发现

• 对于任意 $p > 1/2$，矩阵的Schatten-$p$准范数等价于最小化其两个因子矩阵的Schatten-$2p$范数，将非光滑、非凸的SQNM问题转化为平滑、凸优化问题。
• 经典的核范数最小化形式 $\|X\|_* = \min_{X=UV^T} (\|U\|_F^2 + \|V\|_F^2)/2$ 是当 $p=1$ 且 $p_1=p_2=2$ 时所提框架的特例。
• 对于任意 $0 < p < 1$，Schatten-$p$准范数等价于最小化 $\lfloor 1/p \rfloor + 1$ 个因子矩阵的Schatten-$(\lfloor 1/p \rfloor + 1)p$范数的平均值，从而可通过平滑、凸范数实现可扩展优化。
• 通过Hölder不等式与拉格朗日乘子法严格证明了等价性，建立了Schatten准范数的一般数学框架。
• 先前工作中定义的双核范数与Frobenius/核范数准范数均为所提形式的特例，验证了其通用性与统一性。
• 所提形式消除了每一步优化中对迭代SVD或EVD的需求，显著提升了大规模低秩矩阵恢复问题的算法速度与可扩展性。