[论文解读] Stochastic Dual Coordinate Ascent with Adaptive Probabilities

Dominik Csiba, Zheng Qu+1 more|arXiv (Cornell University)|Feb 27, 2015

Stochastic Gradient Optimization Techniques参考文献 45被引用 31

一句话总结

本文提出AdaSDCA，一种自适应随机对偶坐标上升方法，可在优化过程中动态调整对偶变量的选择概率，其理论收敛速率优于固定概率重要性采样方法。此外，本文还引入AdaSDCA+，一种实用变体，在多个数据集上的实验中表现优于非自适应方法。

ABSTRACT

This paper introduces AdaSDCA: an adaptive variant of stochastic dual coordinate ascent (SDCA) for solving the regularized empirical risk minimization problems. Our modification consists in allowing the method adaptively change the probability distribution over the dual variables throughout the iterative process. AdaSDCA achieves provably better complexity bound than SDCA with the best fixed probability distribution, known as importance sampling. However, it is of a theoretical character as it is expensive to implement. We also propose AdaSDCA+: a practical variant which in our experiments outperforms existing non-adaptive methods.

研究动机与目标

• 解决随机对偶坐标上升（SDCA）中固定概率分布的局限性，该局限可能导致次优收敛速率。
• 开发一种理论上更优的自适应方法，根据优化进程动态更新选择概率。
• 设计该自适应方法的实用变体，以在不增加理论版本计算成本的前提下保持强性能。
• 通过实验表明，该自适应方法在迭代次数和运行时间方面优于现有非自适应SDCA方法。

提出的方法

• 提出AdaSDCA，一种SDCA的自适应变体，根据当前迭代信息在每次迭代中修改对偶变量上的概率分布。
• 采用动态概率更新规则，反映优化过程中对偶变量重要性的变化，从而改善收敛复杂度。
• 推导出AdaSDCA的理论复杂度界，其优于最优固定概率方法（如重要性采样）。
• 提出AdaSDCA+，一种计算高效的变体，通过在线估计对偶变量进展来近似自适应概率。
• 将该方法应用于具有光滑、强凸损失函数和正则化函数的正则化经验风险最小化问题。
• 利用凸共轭对偶性表达对偶问题，从而通过闭式解实现坐标更新。

实验结果

研究问题

• RQ1 在SDCA中采用自适应概率选择，是否能实现优于固定概率重要性采样的理论收敛复杂度？
• RQ2 在对偶空间中动态调整选择概率对优化过程的理论影响是什么？
• RQ3 在实践中如何近似自适应概率，以在降低计算成本的同时保持性能？
• RQ4 所提出的自适应方法在真实世界数据集上的迭代次数和运行时间方面是否优于非自适应SDCA变体？
• RQ5 AdaSDCA+的性能对超参数（如小批量大小m）的敏感性如何？

主要发现

• 由于自适应概率选择，AdaSDCA的收敛复杂度界在理论上优于任何固定概率方法，包括重要性采样。
• AdaSDCA的理论优势受限于高计算成本，使其难以直接实现。
• 提出AdaSDCA+作为实用替代方案，在保持自适应优势的同时具备计算可行性。
• 在w8a、dorothea、mushrooms和cov1等数据集上的实验表明，AdaSDCA+在迭代次数和运行时间方面均优于非自适应方法。
• AdaSDCA+在不同数据集和损失函数（包括二次损失和光滑合页损失）下均表现出鲁棒性能。
• 最优小批量大小m因数据集而异，表明自适应方法可从问题特定调参中受益，但AdaSDCA+在多种m值范围内均表现强劲。