[论文解读] Provable Near-Optimal Low-Multilinear-Rank Tensor Recovery

Jian‐Feng Cai, Lizhang Miao+2 more|arXiv (Cornell University)|Jul 17, 2020

Sparse and Compressive Sensing Techniques参考文献 43被引用 5

一句话总结

本文提出了一种黎曼梯度算法，通过一次迭代硬阈值法进行初始化，可实现对低多线性秩张量从线性测量中可证明的近似最优恢复。该方法在高概率下实现了对大小为 $n \times \cdots \times n$ 且多线性秩为 $(r,\ldots,r)$ 的 $d$ 阶张量的最优采样复杂度 $O(nr^2 + r^{d+1})$，通过利用张量限制等距性质（TRIP）并高效地对小型中间张量进行高阶奇异值分解（HOSVD）实现。

ABSTRACT

We consider the problem of recovering a low-multilinear-rank tensor from a small amount of linear measurements. We show that the Riemannian gradient algorithm initialized by one step of iterative hard thresholding can reconstruct an order-$d$ tensor of size $n imes\ldots imes n$ and multilinear rank $(r,\ldots,r)$ with high probability from only $O(nr^2 + r^{d+1})$ measurements, assuming $d$ is a constant. This sampling complexity is optimal in $n$, compared to existing results whose sampling complexities are all unnecessarily large in $n$. The analysis relies on the tensor restricted isometry property (TRIP) and the geometry of the manifold of all tensors with a fixed multilinear rank. High computational efficiency of our algorithm is also achieved by doing higher order singular value decomposition on intermediate small tensors of size only $2r imes \ldots imes 2r$ rather than on tensors of size $n imes \ldots imes n$ as usual.

研究动机与目标

• 解决从最少数量的线性测量中恢复低多线性秩张量的挑战。
• 弥合现有方法在采样复杂度上的差距，这些方法在 $n$ 上的复杂度不必要地偏高。
• 开发一种计算高效的算法，通过仅在小型中间张量上操作，避免对大型张量进行完整奇异值分解（SVD）。
• 利用张量限制等距性质（TRIP）和流形几何，建立理论恢复保证。
• 在如随机傅里叶算子等结构化采样模型下，展示对噪声的鲁棒性及适用性。

提出的方法

• 该算法在固定多线性秩张量的流形上使用黎曼梯度下降。
• 通过一次迭代硬阈值法进行初始化，以提供一个良好的初始点。
• 该方法仅对小型 $2r \times \cdots \times 2r$ 中间张量应用高阶奇异值分解（HOSVD），而非整个 $n \times \cdots \times n$ 张量。
• 理论分析基于张量限制等距性质（TRIP），在温和条件下确保稳定恢复。
• 利用低多线性秩张量的流形几何特性，确保优化过程的收敛性和稳定性。
• 该框架在高斯采样和随机傅里叶采样模型下均得到验证，表现出一致的实验性能。

实验结果

研究问题

• RQ1 是否能够实现对采样复杂度在 $n$ 上最优的低多线性秩张量恢复，与信息论下限相匹配？
• RQ2 通过迭代硬阈值法初始化的黎曼优化方法，能否实现具有近似最优采样复杂度的可证明恢复？
• RQ3 通过仅在小型 $2r \times \cdots \times 2r$ 张量上限制 HOSVD 而非全尺寸张量，能否显著提升计算效率？
• RQ4 在噪声测量和如随机傅里叶算子等结构化采样模型下，该算法表现如何？
• RQ5 该理论恢复保证是否可推广至多线性秩以外的其他低秩张量模型？

主要发现

• 所提出的算法对 $d$ 阶张量实现了 $O(nr^2 + r^{d+1})$ 的采样复杂度，该复杂度在 $n$ 上最优，并与信息论下限一致。
• 对于大小为 $n \times n \times n$ 且多线性秩为 $(r,r,r)$ 的三阶张量，所需测量数为 $O(nr^2 + r^4)$，在 $n$ 上最优。
• 实验结果表明，在高斯测量下，实现 $100\%$ 恢复所需的最小测量数 $m$ 随 $n$ 线性增长，与理论边界一致。
• 在随机傅里叶采样下，所需 $m$ 的增长为 $O(n \log^2 n)$，与理论分析及此类算子 TRIP 的先前结果一致。
• 该算法对噪声表现出鲁棒性，在测量受高斯噪声扰动时，仍能实现相对误差低于 $10^{-3}$ 的成功恢复。
• 通过仅在小型 $2r \times 2r \times 2r$ 中间张量上执行 HOSVD，该方法实现了高效的计算性能，避免了对全尺寸张量的昂贵运算。