[论文解读] Nonconvex Low-Rank Symmetric Tensor Completion from Noisy Data

Changxiao Cai, Gen Li+2 more|arXiv (Cornell University)|Nov 11, 2019

Sparse and Compressive Sensing Techniques参考文献 84被引用 3

一句话总结

该论文提出了一种两阶段非凸算法——在粗略初始化后进行梯度下降——用于从高度不完整且被污染的数据中完成对称张量。该方法实现了近线性时间复杂度和近最优的统计精度，包括最优的 $∞ll_{∞}$ 误差，适用于常数CP秩的低秩对称张量。

ABSTRACT

We study a noisy symmetric tensor completion problem of broad practical interest, namely, the reconstruction of a low-rank symmetric tensor from highly incomplete and randomly corrupted observations of its entries. While a variety of prior work has been dedicated to this problem, prior algorithms either are computationally too expensive for large-scale applications, or come with sub-optimal statistical guarantees. Focusing on incoherent and well-conditioned tensors of a constant CP rank, we propose a two-stage nonconvex algorithm --- (vanilla) gradient descent following a rough initialization --- that achieves the best of both worlds. Specifically, the proposed nonconvex algorithm faithfully completes the tensor and retrieves all individual tensor factors within nearly linear time, while at the same time enjoying near-optimal statistical guarantees (i.e. minimal sample complexity and optimal estimation accuracy). The estimation errors are evenly spread out across all entries, thus achieving optimal $\ell_{\infty}$ statistical accuracy. The insight conveyed through our analysis of nonconvex optimization might have implications for other tensor estimation problems.

研究动机与目标

• 解决从高度不完整且随机损坏的观测中重建低秩对称张量的挑战。
• 克服先前凸方法和非凸方法的局限性，这些方法要么计算成本过高，要么缺乏强有力的统计保证。
• 在张量具有常数CP秩和非相干结构的前提下，同时实现计算效率和最优统计性能。
• 确保估计误差在所有条目上均匀分布，实现最优的 $∞ll_{∞}$ 精度。
• 为非凸优化提供理论洞见，这些洞见可能推广至更广泛的张量估计问题。

提出的方法

• 采用两阶段方法：首先进行粗略初始化以获得良好的初始值，随后进行标准梯度下降。
• 应用非凸优化以最小化张量分解参数上的最小二乘损失函数。
• 利用张量的对称结构来减少参数冗余，提高估计效率。
• 确保初始化足够接近真实张量因子，以在非凸条件下实现收敛。
• 分析优化景观，表明在温和条件下梯度下降可收敛至全局最小值。
• 利用对张量因子的非相干性和良好条件性假设，以确保稳定恢复。

实验结果

研究问题

• RQ1 非凸优化方法是否能在对称张量补全中同时实现计算效率和最优统计精度？
• RQ2 在存在噪声和不完整观测的情况下，经过适当初始化的梯度下降是否能收敛至真实的张量因子？
• RQ3 在随机损坏存在的情况下，可靠张量恢复所需的最小样本复杂度是多少？
• RQ4 估计误差在条目间的分布如何？是否能实现最优的 $∞ll_{∞}$ 精度？
• RQ5 从该非凸框架中获得的洞见是否可推广至其他张量估计问题？

主要发现

• 所提出的算法在近乎线性时间内完成张量补全并恢复所有个体因子，显著提升了计算效率。
• 该方法实现了近最优的样本复杂度，仅需最少数量的观测条目即可实现可靠恢复。
• 估计误差在所有条目上均匀分布，实现了最优的 $∞ll_{∞}$ 精度。
• 该算法实现了最优估计精度，在给定模型下与理论下限相匹配。
• 非凸方法通过结合快速收敛与强统计保证，优于先前的方法。
• 理论分析表明，优化景观使得梯度下降能从良好初始化出发收敛至全局最小值。