[论文解读] Square Deal: Lower Bounds and Improved Relaxations for Tensor Recovery

Cun Mu, Bo Huang+2 more|arXiv (Cornell University)|Jul 22, 2013

Sparse and Compressive Sensing Techniques参考文献 37被引用 225

一句话总结

本文提出了一种新颖的凸松弛方法——平方范数模型（square-norm model），用于低秩张量恢复，与标准的核范数之和（SNN）方法相比，显著降低了样本复杂度。通过将张量重塑为更均衡的矩阵形式，同时保持低秩结构，该方法实现了 $O(r^{\lfloor{K/2}}n^{\lceil{K/2}})$ 的样本复杂度，远优于 SNN 的 $\Omega(rn^{K-1})$，并更接近最优的非凸基线方法。

ABSTRACT

Recovering a low-rank tensor from incomplete information is a recurring problem in signal processing and machine learning. The most popular convex relaxation of this problem minimizes the sum of the nuclear norms of the unfoldings of the tensor. We show that this approach can be substantially suboptimal: reliably recovering a $K$-way tensor of length $n$ and Tucker rank $r$ from Gaussian measurements requires $Ω(r n^{K-1})$ observations. In contrast, a certain (intractable) nonconvex formulation needs only $O(r^K + nrK)$ observations. We introduce a very simple, new convex relaxation, which partially bridges this gap. Our new formulation succeeds with $O(r^{\lfloor K/2 floor}n^{\lceil K/2 ceil})$ observations. While these results pertain to Gaussian measurements, simulations strongly suggest that the new norm also outperforms the sum of nuclear norms for tensor completion from a random subset of entries. Our lower bound for the sum-of-nuclear-norms model follows from a new result on recovering signals with multiple sparse structures (e.g. sparse, low rank), which perhaps surprisingly demonstrates the significant suboptimality of the commonly used recovery approach via minimizing the sum of individual sparsity inducing norms (e.g. $l_1$, nuclear norm). Our new formulation for low-rank tensor recovery however opens the possibility in reducing the sample complexity by exploiting several structures jointly.

研究动机与目标

• 识别广泛使用的核范数之和（SNN）凸松弛方法在低秩张量恢复中的基本局限性。
• 建立使用 SNN 模型进行可靠恢复所需的高斯测量数目的理论下界。
• 提出一种新的凸松弛方法，以更好地利用张量中的联合低秩结构，从而降低样本复杂度。
• 通过实证结果表明，新方法在从随机选取的张量条目子集中进行张量补全时，优于 SNN。
• 强调当信号中同时存在多种结构时，组合单独的结构诱导范数（如核范数）的次优性。

提出的方法

• 通过将张量重塑为更均衡的矩阵形式以保持低秩结构，提出一种新的凸松弛方法——平方范数模型。
• 该方法最小化通过张量展开获得的均衡矩阵的核范数，从而定义一种新的张量范数。
• 理论分析表明，$O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$ 个高斯测量足以以高概率恢复 Tucker 秩不超过 $r$ 的张量。
• 利用多结构信号恢复的一般框架，推导出 SNN 模型所需的测量数下界为 $\Omega(rn^{K-1})$。
• 采用一阶优化方法求解新的凸规划问题，并通过增广拉格朗日法高效实现矩阵补全。
• 通过模拟实验验证性能，比较新范数与 SNN 在随机条目采样下的张量补全表现。

实验结果

研究问题

• RQ1 核范数之和（SNN）模型在低秩张量恢复中的基本样本复杂度极限是什么？
• RQ2 能否设计一种新的凸松弛方法，以更好地利用张量中的联合低秩结构，从而减少测量需求？
• RQ3 在随机条目采样下的实际张量补全任务中，新提出的平方范数模型与 SNN 相比表现如何？
• RQ4 当多种结构共存于信号中时，为何最小化单独的结构诱导范数（如核范数）是次优的？
• RQ5 是否可以设计一种计算上可行的凸松弛方法，使低秩张量恢复的性能接近难以处理的非凸公式？

主要发现

• 核范数之和（SNN）模型需要 $\Omega(rn^{K-1})$ 个高斯测量才能实现可靠恢复，这明显次优。
• 所提出的平方范数模型实现了 $O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$ 的样本复杂度，相较于 SNN 显著提升。
• 当 $K \geq 4$ 且 $r$ 较小时，新方法的样本复杂度比 SNN 更接近最优的非凸基线。
• 模拟结果表明，平方范数模型在从随机条目子集中进行张量补全时优于 SNN，成功恢复区域更大。
• 理论分析表明，当信号具有多种稀疏结构时，组合单独的结构诱导范数（如 $\ell_1$、核范数）在本质上是次优的。
• 新方法表明，对联合结构的更好利用可显著降低样本复杂度，为实现接近最小测量数的恢复开辟了道路。