[论文解读] Scalable Tensor Completion with Nonconvex Regularization.

Quanming Yao|arXiv (Cornell University)|Jul 23, 2018

Sparse and Compressive Sensing Techniques参考文献 3被引用 3

一句话总结

本文提出了一种可扩展的非凸正则化方法用于张量补全，通过减少对大奇异值的惩罚，降低了低秩估计中的偏差。采用基于邻近平均（proximal average）的加速算法，该方法在计算速度和内存使用方面显著优于现有方法，同时保持收敛至临界点的特性，并在实验中展现出更优的恢复性能。

ABSTRACT

Low-rank tensor completion problem aims to recover a tensor from limited observations, which has many real-world applications. Due to the easy optimization, the convex overlapping nuclear norm has been popularly used for tensor completion. However, it over-penalizes top singular values and lead to biased estimations. In this paper, we propose to use the nonconvex regularizer, which can less penalize large singular values, instead of the convex one for tensor completion. However, as the new regularizer is nonconvex and overlapped with each other, existing algorithms are either too slow or suffer from the huge memory cost. To address these issues, we develop an efficient and scalable algorithm, which is based on the proximal average (PA) algorithm, for real-world problems. Compared with the direct usage of PA algorithm, the proposed algorithm runs orders faster and needs orders less space. We further speed up the proposed algorithm with the acceleration technique, and show the convergence to critical points is still guaranteed. Experimental comparisons of the proposed approach are made with various other tensor completion approaches. Empirical results show that the proposed algorithm is very fast and can produce much better recovery performance.

研究动机与目标

• 解决凸重叠核范数正则化在低秩张量补全中引入的偏差问题。
• 开发一种高效且可扩展的非凸正则化算法，避免高内存和计算成本。
• 在显著提升运行时间和空间效率的同时，保持收敛性保证，优于直接应用邻近平均方法。
• 在真实世界数据上，相较于现有张量补全方法，在速度和恢复精度方面均表现更优。

提出的方法

• 用一种减少对大奇异值惩罚的非凸正则化器替代凸重叠核范数。
• 基于邻近平均（PA）框架，开发一种新颖算法，以高效处理非凸、重叠的正则化。
• 引入计算与内存优化，相比标准PA方法，实现数量级的速度提升与空间缩减。
• 应用加速技术进一步加快收敛速度，同时保持理论上的收敛至临界点的特性。
• 采用针对非凸正则化器设计的邻近算子进行迭代优化，实现可扩展的张量恢复。

实验结果

研究问题

• RQ1 与凸核范数正则化相比，非凸正则化是否能降低低秩张量补全中的偏差？
• RQ2 基于邻近平均的算法能否在非凸、重叠的张量正则化中实现可扩展性与高效性？
• RQ3 所提算法是否在运行速度和内存消耗方面优于直接应用PA的方法？
• RQ4 在非凸算法中是否可应用加速技术而不损失收敛性保证？
• RQ5 与现有张量补全方法相比，该方法在恢复精度和速度方面表现如何？

主要发现

• 所提方法在运行时间与内存消耗方面显著优于直接应用邻近平均算法。
• 即使在加速后，该算法仍能保持收敛至临界点，确保理论可靠性。
• 实验结果表明，其恢复性能优于其他张量补全方法，尤其在保持低秩结构方面表现更优。
• 非凸正则化器降低了奇异值估计的偏差，从而实现更精确的张量重建。
• 该方法在真实世界问题中表现出良好的可扩展性，展现出超越合成基准测试的实际应用潜力。