[论文解读] Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization

Kenji Kawaguchi, Haihao Lu|arXiv (Cornell University)|Jul 9, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用 15

一句话总结

该论文提出了一种名为Ordered SGD的新颖随机优化框架，通过在训练过程中优先处理当前损失较高的样本，从而提升模型的泛化性能。与标准SGD不同，该方法在每个小批量中基于损失最高的前$q$个样本构建有偏梯度估计器，实现了次线性收敛，并在逻辑回归、SVM和深度学习模型中均取得了更高的测试准确率。

ABSTRACT

We propose a new stochastic optimization framework for empirical risk minimization problems such as those that arise in machine learning. The traditional approaches, such as (mini-batch) stochastic gradient descent (SGD), utilize an unbiased gradient estimator of the empirical average loss. In contrast, we develop a computationally efficient method to construct a gradient estimator that is purposely biased toward those observations with higher current losses. On the theory side, we show that the proposed method minimizes a new ordered modification of the empirical average loss, and is guaranteed to converge at a sublinear rate to a global optimum for convex loss and to a critical point for weakly convex (non-convex) loss. Furthermore, we prove a new generalization bound for the proposed algorithm. On the empirical side, the numerical experiments show that our proposed method consistently improves the test errors compared with the standard mini-batch SGD in various models including SVM, logistic regression, and deep learning problems.

研究动机与目标

• 解决标准SGD中均匀采样策略的局限性，即在训练过程中对所有样本一视同仁，尽管其重要性存在差异。
• 通过聚焦于更难分类或当前损失更高的样本，提升模型的泛化性能。
• 开发一种计算高效的替代重要性采样SGD的方法，其目标是最小化一个新定义的目标函数，而非加速收敛。
• 为凸函数和弱凸（非凸）设置下的收敛性与泛化性提供理论保证。
• 在包括深度神经网络、逻辑回归和SVM在内的多种模型中，持续实现测试误差的降低。

提出的方法

• 提出一种新的采样策略：在每个小批量中，选择当前损失最高的前$q$个样本用于梯度计算。
• 仅使用小批量中损失最高的前$q$个样本构建有偏梯度估计器，定义为$\tilde{g}^t \in \partial L_Q(\theta^t)$，其中$L_Q(\theta^t) = \frac{1}{q}\sum_{i\in Q} L_i(\theta^t)$。
• 引入一个新的目标函数——有序经验风险$L_q(\theta)$，其目标是最小化数据集中损失最高的前$q$个样本的平均损失。
• 采用标准SGD更新规则，结合前$q$个损失样本的梯度估计器：$\theta^{t+1} = \theta^t - \eta_t \tilde{g}^t$。
• 该方法与现有深度学习框架兼容，可扩展至Adam等其他优化算法。
• 采用两阶段流程：先进行随机小批量采样，再对损失最高的前$q$个样本进行贪心选择以计算梯度。

实验结果

研究问题

• RQ1 在训练过程中聚焦于高损失样本是否能提升机器学习模型的泛化性能？
• RQ2 基于损失最高的前$q$个样本构建的有偏梯度估计器，是否相比无偏SGD能带来更好的收敛性与泛化性能？
• RQ3 所提出方法在凸函数和弱凸（非凸）损失函数下的理论收敛行为如何？
• RQ4 Ordered SGD在不同模型和数据集上的泛化性能与标准小批量SGD相比如何？
• RQ5 该框架能否扩展至Adam或AdaGrad等其他优化算法？

主要发现

• 对于凸损失函数，Ordered SGD实现了向全局最优解的次线性收敛；对于弱凸（非凸）损失函数，则收敛至临界点。
• 该方法最小化了一个新定义的目标函数——有序经验风险$L_q(\theta)$，其为标准经验平均损失的改进形式。
• 为Ordered SGD证明了一个适用于一般分类与回归问题的新泛化界。
• 在数值实验中，Ordered SGD在SVM、逻辑回归和深度学习架构等多种模型中，均持续优于标准小批量SGD的测试误差。
• 即使在为小批量SGD调优最佳学习率的情况下，Ordered SGD仍能实现更低的测试误差（例如，在使用标准增强的CIFAR-10数据集上，测试误差分别为6.46% vs. 6.94%）。
• 在数据增强条件下，性能提升尤为显著（例如，使用mixup时提升达7.85%），表明Ordered SGD对数据增强具有强鲁棒性。