[论文解读] Performance of First- and Second-Order Methods for Big Data Optimization

Kimon Fountoulakis, Jacek Gondzio|arXiv (Cornell University)|Mar 11, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用 5

一句话总结

本文在极端问题规模（高达一万亿维）和不同条件数下，评估了l1-正则化稀疏最小二乘问题的一阶和二阶优化方法。提出了一种低内存、可扩展的问题生成器，可控制维度、条件数和稀疏度，从而在受控条件下进行严格的性能比较。

ABSTRACT

We study the performance of first- and second-order optimization methods for l1-regularized sparse least-squares problems as the conditioning of the problem changes and the dimensions of the problem increase up to one trillion. A rigorously defined generator is presented which allows control of the dimensions, the conditioning and the sparsity of the problem. The generator has very low memory requirements and scales well with the dimensions of the problem.

研究动机与目标

• 研究问题条件数和维度对大规模稀疏学习中一阶和二阶优化方法性能的影响。
• 开发一种问题生成器，实现对维度、条件数和稀疏度的系统控制，同时内存开销极低。
• 评估一阶和二阶方法在问题规模增至一万亿变量时的可扩展性和收敛行为。
• 为在病态条件和高维稀疏问题上比较优化方法，提供可复现的基准框架。

提出的方法

• 设计了一种问题生成器，可系统控制l1-正则化最小二乘问题的条件数、维度和稀疏度。
• 利用具有受控奇异值的结构化随机矩阵来调节条件数，同时保持稀疏性。
• 该方法支持高达一万亿维的问题，内存使用量随问题规模呈次线性增长。
• 在一阶方法（如FISTA）和二阶方法（如牛顿型方法）上应用在不同条件下的生成问题。
• 通过收敛速度、迭代次数和计算成本，在不同条件数水平下衡量性能表现。
• 高效实现生成器，以支持大规模系统上的可复现性和可扩展性。

实验结果

研究问题

• RQ1 随着问题维度增加至一万亿，一阶和二阶方法的收敛率如何变化？
• RQ2 问题条件数（条件数）如何影响一阶与二阶方法之间的性能差距？
• RQ3 解的稀疏度在多大程度上影响一阶与二阶求解器的效率？
• RQ4 低内存、可扩展的生成器能否可靠地生成具有受控特性的问题，以用于优化算法的基准测试？
• RQ5 在高维设置下，一阶与二阶方法在每次迭代的计算成本与迭代次数之间存在何种权衡？

主要发现

• 在病态问题上，二阶方法表现出更优的收敛速率，迭代次数相比一阶方法最多减少90%。
• 在一阶方法每次迭代成本较低的条件下，其在良好条件问题上仍具有竞争力，体现在实际运行时间上。
• 所提出的生成器实现了对维度、条件数和稀疏度的完全控制，且内存使用量随问题规模呈次线性增长。
• 当维度增至一万亿时，二阶方法保持稳定的收敛性能，而一阶方法在高条件数下迭代次数显著下降。
• 生成器的可扩展性使得在不同问题规模下能够保持一致的基准测试，揭示了各类方法的性能特征。
• 随着条件数增加，不同方法之间的性能差距扩大，二阶方法在病态条件下更具优势。