[论文解读] New Optimisation Methods for Machine Learning

Aaron Defazio|arXiv (Cornell University)|Oct 9, 2015

Machine Learning and Algorithms参考文献 2被引用 3

一句话总结

本论文提出了 Finito 和 SAGA 两种新型优化算法，用于解决涉及有限和与图结构目标的机器学习问题。Finito 在强凸问题上实现了快速收敛，并证明了线性收敛率；SAGA 则提供了一种通用方法，适用于非强凸及非可微正则化问题，且具有可证明的收敛性，理论与实践中均优于先前的方法。

ABSTRACT

A thesis submitted for the degree of Doctor of Philosophy of The Australian National University. In this work we introduce several new optimisation methods for problems in machine learning. Our algorithms broadly fall into two categories: optimisation of finite sums and of graph structured objectives. The finite sum problem is simply the minimisation of objective functions that are naturally expressed as a summation over a large number of terms, where each term has a similar or identical weight. Such objectives most often appear in machine learning in the empirical risk minimisation framework in the non-online learning setting. The second category, that of graph structured objectives, consists of objectives that result from applying maximum likelihood to Markov random field models. Unlike the finite sum case, all the non-linearity is contained within a partition function term, which does not readily decompose into a summation. For the finite sum problem, we introduce the Finito and SAGA algorithms, as well as variants of each. For graph-structured problems, we take three complementary approaches. We look at learning the parameters for a fixed structure, learning the structure independently, and learning both simultaneously. Specifically, for the combined approach, we introduce a new method for encouraging graph structures with the "scale-free" property. For the structure learning problem, we establish SHORTCUT, a O(n^{2.5}) expected time approximate structure learning method for Gaussian graphical models. For problems where the structure is known but the parameters unknown, we introduce an approximate maximum likelihood learning algorithm that is capable of learning a useful subclass of Gaussian graphical models.

研究动机与目标

• 开发新型优化方法，以高效求解具有有限和结构的大规模机器学习问题。
• 解决现有方法在处理非强凸及非可微正则化问题时的局限性。
• 为高斯图模型中的参数与结构学习设计可扩展的算法。
• 为机器学习中新型优化问题类群提供统一的理论框架，并实现可证明的收敛性。

提出的方法

• 提出 Finito，一种对偶增量梯度方法，通过使用中点更新规则的方差缩减方法，实现对强凸有限和问题的线性收敛。
• 提出 SAGA，一种新颖的随机优化方法，其理论简洁通用，支持非强凸与非可微正则化项，且无需额外正则化。
• 开发 Prox-Finito，作为 Finito 的原始-对偶变体，通过基于中点的更新机制，实现对非光滑正则化项的高效优化。
• 提出一种新方法，用于在高斯图模型的结构学习过程中促进无标度图结构的形成。
• 提出 SHORTCUT，一种用于学习高斯图模型结构的 O(n^2.5) 期望时间复杂度的近似算法。
• 开发一种针对已知结构的高斯图模型的近似最大似然学习算法，实现高效的参数估计。

实验结果

研究问题

• RQ1 能否设计一种新型优化方法，使有限和强凸问题的收敛速度更快？
• RQ2 能否开发一种通用优化方法，可处理非强凸及非可微正则化问题，并具有可证明的收敛性？
• RQ3 能否构建有效的算法，用于高斯图模型中结构与参数的联合学习？
• RQ4 能否在学习到的图结构中有效促进无标度特性？
• RQ5 能否实现高斯图模型的近似结构学习，且时间复杂度低于二次方？

主要发现

• Finito 在强凸有限和问题上实现了线性收敛率，在五个基准数据集上表现出业界领先的实际性能。
• SAGA 是首个针对具有非可微正则化项的非强凸有限和问题提供可证明收敛性的方法，且无需额外正则化。
• 由于其更灵活且鲁棒的更新机制，SAGA 在稀疏问题上的表现优于 Finito。
• SHORTCUT 实现了 O(n^2.5) 的期望时间复杂度，显著提升了高斯图模型近似结构学习的可扩展性。
• 所提出的近似最大似然算法可高效实现一类有用的高斯图模型的参数学习。
• 理论分析证实了所有所提方法的收敛性，且为 Finito 和 Prox-Finito 建立了紧致的收敛界。