[论文解读] Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice

Parikshit Shah, Nikhil Rao+1 more|arXiv (Cornell University)|May 15, 2015

Sparse and Compressive Sensing Techniques参考文献 51被引用 11

一句话总结

本文提出 T-ReCs，一种计算高效的算法，用于从可分测量中精确恢复低秩张量——例如随机投影和受限于四个切片的张量补全。通过将问题简化为矩阵补全子问题，并适配 Leurgans 的张量分解方法，该方法在三阶及以上张量下实现了近乎最优的样本复杂度（对数因子内为最优阶）。

ABSTRACT

Tensors play a central role in many modern machine learning and signal processing applications. In such applications, the target tensor is usually of low rank, i.e., can be expressed as a sum of a small number of rank one tensors. This motivates us to consider the problem of low rank tensor recovery from a class of linear measurements called separable measurements. As specific examples, we focus on two distinct types of separable measurement mechanisms (a) Random projections, where each measurement corresponds to an inner product of the tensor with a suitable random tensor, and (b) the completion problem where measurements constitute revelation of a random set of entries. We present a computationally efficient algorithm, with rigorous and order-optimal sample complexity results (upto logarithmic factors) for tensor recovery. Our method is based on reduction to matrix completion sub-problems and adaptation of Leurgans' method for tensor decomposition. We extend the methodology and sample complexity results to higher order tensors, and experimentally validate our theoretical results.

研究动机与目标

• 解决从不完整或压缩的线性测量中恢复低秩张量的挑战，特别是在测量数量显著小于张量固有维度的场景下。
• 开发一种计算高效的算法，在如随机投影和逐元素采样等实际测量模型下，实现接近最优的样本复杂度。
• 将 Leurgans 的张量分解方法扩展至结构化、可分的测量算子，实现在无需完整张量展开的前提下可扩展的恢复。
• 在样本复杂度和计算效率方面，通过理论和实证分析证明其相对于现有基于矩阵展开的方法的优势。

提出的方法

• 引入一类可分测量，包括通过随机向量和矩阵的外积实现的随机投影，以及受限于四个切片的张量补全。
• 利用测量的可分结构，将张量恢复问题简化为一组较小的矩阵补全子问题。
• 适配 Leurgans 的张量分解算法，通过顺序的矩阵恢复步骤迭代恢复低秩分量。
• 对每个简化后的矩阵补全问题应用核范数最小化，确保秩最小化的凸松弛，并实现可计算的优化。
• 采用四重缩并框架，从张量的四个特定切片中提取并处理信息，实现高效且稳定的恢复。
• 证明该方法在随机投影和补全场景下均能达到阶最优的样本复杂度（对数因子内）。

实验结果

研究问题

• RQ1 即使测量是可分且稀疏的，是否仍能实现接近最优的样本复杂度的低秩张量恢复？
• RQ2 所提出的 T-ReCs 算法在计算可扩展性和恢复精度方面与基于矩阵展开的方法相比如何？
• RQ3 可分测量框架在实际问题（如压缩感知和协同过滤）中的适用范围有多大？
• RQ4 在随机投影和受限于四切片的逐元素采样下，该算法的理论样本复杂度保证是什么？
• RQ5 该方法能否扩展至更高阶张量，同时保持计算效率和样本复杂度最优性？

主要发现

• T-ReCs 在可分测量下实现了低秩张量恢复的阶最优样本复杂度，其界在对数因子内紧致。
• 由于通过求解多个小矩阵问题而非一个大矩阵问题，该算法在计算速度上显著优于基于矩阵展开的方法，尤其在处理大张量时。
• 相变实验表明，当测量数量超过与张量秩和维度成比例的阈值时，恢复成功（定义为 MSE < 1e-5）。
• 对于一个 n×n×n 的秩为 3 的张量，T-ReCs 的计算效率极高，恢复时间比矩阵展开方法快几个数量级。
• 该方法在张量秩从 2 到 10 的范围内均保持高精度，且在随机投影和补全设置下均表现出一致的恢复性能。
• 实证结果证实，将测量限制在四个切片内足以实现精确恢复，验证了理论框架在实际应用中的可行性。