[论文解读] Online Optimization for Max-Norm Regularization

Jie Shen, Huan Xu+1 more|arXiv (Cornell University)|Jun 12, 2014

Sparse and Compressive Sensing Techniques被引用 25

一句话总结

本文提出了一种用于最大范数正则化矩阵分解的在线算法，通过矩阵分解将最大范数重新表述为基矩阵与系数矩阵的形式，从而仅在内存中保留基矩阵，实现对大规模数据的可扩展、内存高效的处理。该方法可证明收敛至期望损失函数的驻点，在有效性和鲁棒性方面优于核范数求解器。

ABSTRACT

Max-norm regularizer has been extensively studied in the last decade as it promotes an effective low-rank estimation for the underlying data. However, such max-norm regularized problems are typically formulated and solved in a batch manner, which prevents it from processing big data due to possible memory budget. In this paper, hence, we propose an online algorithm that is scalable to large-scale setting. Particularly, we consider the matrix decomposition problem as an example, although a simple variant of the algorithm and analysis can be adapted to other important problems such as matrix completion. The crucial technique in our implementation is to reformulating the max-norm to an equivalent matrix factorization form, where the factors consist of a (possibly overcomplete) basis component and a coefficients one. In this way, we may maintain the basis component in the memory and optimize over it and the coefficients for each sample alternatively. Since the memory footprint of the basis component is independent of the sample size, our algorithm is appealing when manipulating a large collection of samples. We prove that the sequence of the solutions (i.e., the basis component) produced by our algorithm converges to a stationary point of the expected loss function asymptotically. Numerical study demonstrates encouraging results for the efficacy and robustness of our algorithm compared to the widely used nuclear norm solvers.

研究动机与目标

• 解决批量最大范数正则化在大规模数据场景中因高内存需求而导致的可扩展性限制。
• 通过将最大范数正则化重新表述为在线优化框架，实现对流式或大规模数据的在线处理。
• 开发一种仅存储基组件的内存高效算法，其存储量与样本数量无关。
• 确保解序列的理论收敛性，收敛至期望损失函数的驻点。
• 在实际场景中，与广泛使用的核范数求解器相比，展示出更优的性能和鲁棒性。

提出的方法

• 将最大范数重新表述为涉及基矩阵与系数矩阵的等价矩阵分解形式。
• 在内存中保持基组件，并对每个新到达的样本交替优化基与系数。
• 采用在线更新策略，按顺序处理数据，逐步更新基与系数。
• 对分解后的组件应用交替优化，确保在系数更新期间基保持固定，反之亦然。
• 利用分解结构，将内存使用与样本数量解耦，实现可扩展性。
• 证明基组件序列渐近收敛至期望损失函数的驻点。

实验结果

研究问题

• RQ1 最大范数正则化能否有效适应大规模数据的在线可扩展学习场景？
• RQ2 所提出的基于因子分解的最大范数重构是否能实现内存高效的在线优化？
• RQ3 该在线算法能否收敛至期望损失函数的驻点？
• RQ4 在有效性和鲁棒性方面，该方法相较于基于核范数的求解器表现如何？
• RQ5 在实际处理大规模样本集合时，该算法是否具备鲁棒性和可扩展性？

主要发现

• 所提出的在线算法通过仅存储与样本数量无关的基组件，实现了可扩展学习。
• 该算法生成的基组件序列渐近收敛至期望损失函数的驻点。
• 数值实验表明，该方法在有效性和鲁棒性方面优于广泛使用的核范数求解器。
• 由于其低内存占用和增量更新机制，该算法在大规模数据场景中保持了强劲性能。
• 基于因子分解的重构方式实现了有效的在线优化，同时不损失最大范数正则化的理论优势。