[论文解读] On Identity Testing of Tensors, Low-rank Recovery and Compressed Sensing

Michael A. Forbes, Amir Shpilka|arXiv (Cornell University)|Nov 2, 2011

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出了针对低秩张量和矩阵的显式、确定性、黑箱多项式恒等式测试算法，利用结构化测量集实现低秩恢复。针对矩阵构造了最优大小的命中集（大小为 $4nr$），针对高阶张量构造了准最优命中集，应用于压缩感知和秩-距离码。

ABSTRACT

We study the problem of obtaining efficient, deterministic, black-box polynomial identity testing algorithms for depth-3 set-multilinear circuits (over arbitrary fields). This class of circuits has an efficient, deterministic, white-box polynomial identity testing algorithm (due to Raz and Shpilka), but has no known such black-box algorithm. We recast this problem as a question of finding a low-dimensional subspace H, spanned by rank 1 tensors, such that any non-zero tensor in the dual space ker(H) has high rank. We obtain explicit constructions of essentially optimal-size hitting sets for tensors of degree 2 (matrices), and obtain quasi-polynomial sized hitting sets for arbitrary tensors (but this second hitting set is less explicit). We also show connections to the task of performing low-rank recovery of matrices, which is studied in the field of compressed sensing. Low-rank recovery asks (say, over the reals) to recover a matrix M from few measurements, under the promise that M is rank <=r. We also give a formal connection between low-rank recovery and the task of sparse (vector) recovery: any sparse-recovery algorithm that exactly recovers vectors of length n and sparsity 2r, using m non-adaptive measurements, yields a low-rank recovery scheme for exactly recovering nxn matrices of rank <=r, making 2nm non-adaptive measurements. Furthermore, if the sparse-recovery algorithm runs in time τ, then the low-rank recovery algorithm runs in time O(rn^2+nτ). We obtain this reduction using linear-algebraic techniques, and not using convex optimization, which is more commonly seen in compressed sensing algorithms. By using a dual Reed-Solomon code, we are able to (deterministically) construct low-rank recovery schemes taking 4nr measurements over the reals, such that the measurements can be all rank-1 matrices, or all sparse matrices.

研究动机与目标

• 为任意域上的深度-3集合-多线性电路开发显式、确定性、黑箱多项式恒等式测试算法。
• 在 $\mathbb{R}$ 上构造高效、确定性、非自适应的低秩矩阵恢复测量集，大小为最优或近似最优。
• 建立低秩恢复与稀疏向量恢复之间的正式联系，实现从稀疏恢复到低秩恢复的约化。
• 基于低秩恢复构造显式秩-距离码，适用于矩阵和张量，具备高效译码和良好码率。
• 通过显式命中集和变量约化技术，深化对张量秩和电路下界理解。

提出的方法

• 将张量的恒等式测试问题约化为寻找一个低维秩-1张量子空间 $\mathcal{H}$，使得 $\ker(\mathcal{H})$ 中任意非零张量均具有高秩。
• 利用普罗尼方法和对偶里德-索罗蒙码的伴随译码，构造大小为 $4nr$ 的显式命中集，用于 $n \times n$ 矩阵。
• 应用变量约化技术，将多元恒等式测试约化为一元测试，利用多项式基于秩的分解。
• 将稀疏恢复约化推广至低秩恢复：任意用于长度为 $n$、稀疏度为 $2r$ 的向量的 $m$-测量稀疏恢复算法，可导出一个用于 $n \times n$ 秩 $\leq r$ 矩阵的 $2nm$-测量低秩恢复方案。
• 使用线性代数技术（非凸优化）设计低秩恢复方案，时间复杂度为 $\mathcal{O}(rn^2 + r^3n)$。
• 通过取低秩恢复集合的对偶构造秩-距离码，确保最小距离 $\geq 2r+1$，并利用恢复算法实现高效译码。

实验结果

研究问题

• RQ1 能否在任意域上实现深度-3集合-多线性电路的显式、确定性、黑箱恒等式测试？
• RQ2 允许对 $n \times n$ 秩 $\leq r$ 矩阵实现精确恢复的确定性、非自适应测量集的最小大小是多少？
• RQ3 能否系统性地将稀疏恢复算法约化为低秩矩阵恢复？测量大小与运行时间之间存在何种权衡？
• RQ4 如何构造显式、高码率的秩-距离码，适用于矩阵和张量，并具备高效译码能力？
• RQ5 能否将高阶张量命中集的大小减小至与存在性界一致，特别是当 $d=3$ 时？

主要发现

• 为 $\mathbb{R}$ 上的 $n \times n$ 矩阵构造了大小为 $4nr$ 的显式命中集，实现了确定性、非自适应、黑箱恒等式测试和矩阵恢复，时间复杂度为 $\mathcal{O}(rn^2 + r^3n)$ 个域运算。
• 对于阶数 $d > 2$ 的张量，本文构造了大小为 $\poly((2nd)^d, (2r)^{\mathcal{O}(\lg d)})$ 的准多项式大小命中集，其大小接近最优且为显式构造。
• 建立了正式约化关系：任意用于长度为 $n$、稀疏度为 $2r$ 的向量的 $m$-测量稀疏恢复算法，可导出一个用于 $n \times n$ 秩 $\leq r$ 矩阵的 $2nm$-测量低秩恢复方案，运行时间为 $\mathcal{O}(rn^2 + n\tau)$。
• 在满足 $|\mathbb{F}| > (2nd)^d$ 的条件下，构造了参数为 $[n^2, n^2 - 2nr, 2r+1]_{\mathbb{F}}$ 的显式秩-距离码，具备高效译码能力。
• 对于张量，本文构造了参数为 $[n^d, n^d - dn(2r)^{\lceil \lg d \rceil}, 2r+1]_{\mathbb{F}}$ 的码，译码时间复杂度为 $\poly((2nd)^d, (2r)^{\mathcal{O}(\lg d)})$，且校验矩阵全为秩-1张量。
• 在从扩域约化到基域时，该构造保持了测量矩阵的秩-1性质，但大小存在 $\exp(d)$ 的膨胀，如何改进此问题仍是开放问题。