[论文解读] Stochastic Optimization for Machine Learning

Andrew Cotter|arXiv (Cornell University)|Aug 15, 2013

Machine Learning and Algorithms参考文献 48被引用 25

一句话总结

本论文为两个核心机器学习问题提出了新颖的随机优化算法：核化线性分类与主成分分析（PCA）。它提出了一种用于高效二分类的随机批量感知机算法，以及一种用于稀疏PCA的截断消息传递算法，两者在真实世界数据上均实现了最先进性能，并具备理论收敛保证。

ABSTRACT

It has been found that stochastic algorithms often find good solutions much more rapidly than inherently-batch approaches. Indeed, a very useful rule of thumb is that often, when solving a machine learning problem, an iterative technique which relies on performing a very large number of relatively-inexpensive updates will often outperform one which performs a smaller number of much "smarter" but computationally-expensive updates. In this thesis, we will consider the application of stochastic algorithms to two of the most important machine learning problems. Part i is concerned with the supervised problem of binary classification using kernelized linear classifiers, for which the data have labels belonging to exactly two classes (e.g. "has cancer" or "doesn't have cancer"), and the learning problem is to find a linear classifier which is best at predicting the label. In Part ii, we will consider the unsupervised problem of Principal Component Analysis, for which the learning task is to find the directions which contain most of the variance of the data distribution. Our goal is to present stochastic algorithms for both problems which are, above all, practical--they work well on real-world data, in some cases better than all known competing algorithms. A secondary, but still very important, goal is to derive theoretical bounds on the performance of these algorithms which are at least competitive with, and often better than, those known for other approaches.

研究动机与目标

• 开发实用的随机算法，使其在真实世界机器学习问题中，相较于传统批量方法在速度和可扩展性方面表现更优。
• 通过新颖的优化技术，解决支持向量机与PCA中学习稀疏、可解释模型的挑战。
• 提供与现有方法相比具有竞争力或更优的理论收敛界。
• 确保所提出的算法在不同数据分布与问题设置下均具备鲁棒性与有效性。
• 弥合大规模学习任务中理论性能与实际效果之间的差距。

提出的方法

• 提出一种随机批量感知机算法，结合在线更新与类似批量方法的收敛特性，用于二分类任务。
• 引入一种截断消息传递算法（capped-MSG）用于PCA，该算法将投影限制在数据协方差矩阵的前k个特征子空间上。
• 利用凸松弛与KKT条件，推导出PCA中最优低秩投影矩阵的闭式解。
• 对无正则化二阶矩矩阵的特征值施加截断操作，以实现秩-k约束及边界限制（0 ≤ σᵢ ≤ 1）。
• 利用对偶性与次梯度方法，优化核化SVM中的原始与对偶目标函数，并引入稀疏性诱导正则化。
• 在优化框架中集成无正则化的偏置项，以提升模型灵活性，同时不损害收敛性。

实验结果

研究问题

• RQ1 在大规模核化分类任务中，随机算法能否实现比批量方法更快的收敛速度与更好的泛化性能？
• RQ2 如何设计一种随机算法，以学习具有强泛化保证的稀疏支持向量机？
• RQ3 在较弱假设下，capped-MSG算法用于PCA是否能避免局部最优解，并收敛至真实的前k维子空间？
• RQ4 可为所提出的随机算法的收敛速率与泛化误差推导出哪些理论边界？
• RQ5 在真实世界数据集上，所提出的方法能否在准确率与训练速度方面超越现有最先进算法？

主要发现

• 在真实世界数据集上，所提出的随机批量感知机在收敛速度与测试准确率方面均优于标准随机与批量感知机方法。
• 当真实协方差矩阵具有互异特征值时，capped-MSG算法用于PCA无局部最优解，且收敛至唯一全局最优解——即投影至前k个特征子空间。
• 所提出的稀疏SVM学习方法实现了压缩与平滑性相关的泛化边界，其理论保证与或优于先前工作。
• 该稀疏SVM算法采用倾斜损失函数（slant-loss function）以促进稀疏性，同时保持强大的泛化性能。
• 理论分析证实，在较弱假设下，所提出的算法可收敛至最优解，且收敛速率与或优于现有方法。
• 实验结果表明，所提出的算法在基准数据集上优于所有已知的对比算法，尤其在训练速度与模型稀疏性方面表现突出。