[论文解读] The stochastic multi-gradient algorithm for multi-objective optimization and its application to supervised machine learning

Suyun Liu, L. N. Vicente|arXiv (Cornell University)|Jul 10, 2019

Stochastic Gradient Optimization Techniques参考文献 47被引用 8

一句话总结

本文提出了一种用于不确定环境下多目标优化的随机多梯度（Stochastic Multi-Gradient, SMG）算法，将随机梯度方法扩展至处理冲突目标的情形。该方法在存在有偏多梯度估计的情况下，仍能实现与单目标随机梯度下降相当的收敛速率，逼近帕累托前沿，并在合成数据及监督机器学习问题（如多源逻辑回归）中表现出稳健性能。

ABSTRACT

Optimization of conflicting functions is of paramount importance in decision making, and real world applications frequently involve data that is uncertain or unknown, resulting in multi-objective optimization (MOO) problems of stochastic type. We study the stochastic multi-gradient (SMG) method, seen as an extension of the classical stochastic gradient method for single-objective optimization. At each iteration of the SMG method, a stochastic multi-gradient direction is calculated by solving a quadratic subproblem, and it is shown that this direction is biased even when all individual gradient estimators are unbiased. We establish rates to compute a point in the Pareto front, of order similar to what is known for stochastic gradient in both convex and strongly convex cases. The analysis handles the bias in the multi-gradient and the unknown a priori weights of the limiting Pareto point. The SMG method is framed into a Pareto-front type algorithm for the computation of the entire Pareto front. The Pareto-front SMG algorithm is capable of robustly determining Pareto fronts for a number of synthetic test problems. One can apply it to any stochastic MOO problem arising from supervised machine learning, and we report results for logistic binary classification where multiple objectives correspond to distinct-sources data groups.

研究动机与目标

• 解决目标冲突且数据具有随机性或不确定性的多目标优化问题。
• 将随机梯度方法扩展至多目标设置，同时考虑多梯度方向中的偏差。
• 开发一种帕累托前沿型算法，能够在随机多目标问题中近似整个帕累托前沿。
• 在存在有偏梯度估计器的情况下，建立SMG方法在凸与强凸设置下的收敛速率。
• 将该方法应用于监督机器学习，特别是多源数据分类任务，以在不同数据组之间实现性能平衡。

提出的方法

• SMG方法通过在每次迭代中求解一个二次子问题来计算随机多梯度方向，该子问题聚合了各个独立的随机梯度。
• 即使单个梯度估计器无偏，该方法仍能处理多梯度方向中的偏差，通过分析子问题中偏差的传播机制实现。
• 收敛性分析采用带自适应权重的加权和标量化方法，确保收敛至帕累托前沿上的一点。
• 提出一种帕累托前沿SMG算法，通过调整权重并跟踪解序列，迭代逼近整个帕累托前沿。
• 算法采用形式为 $\alpha_k = \bar{\alpha}/\sqrt{k}$ 的递减步长，以平衡收敛性与方差。
• 通过期望次优性界推导理论收敛速率，表明在凸与强凸情况下均达到 $O(1/\sqrt{k})$ 的收敛速率。

实验结果

研究问题

• RQ1 能否有效将随机梯度方法扩展至具有冲突目标和噪声数据的多目标优化问题？
• RQ2 多梯度方向中的偏差如何影响收敛性？是否仍可建立收敛速率？
• RQ3 SMG方法在凸与强凸随机多目标问题中可实现何种收敛速率？
• RQ4 SMG方法能否在多样化测试问题中稳健地近似整个帕累托前沿？
• RQ5 SMG方法在具有异构数据源的真实世界监督机器学习任务中表现如何？

主要发现

• SMG方法在凸与强凸设置下均实现了 $O(1/\sqrt{k})$ 阶的收敛速率，逼近帕累托前沿，与单目标随机梯度下降的已知速率相当。
• 尽管单个梯度估计器无偏，但多梯度方向存在偏差，且分析明确考虑了该偏差对收敛保证的影响。
• 帕累托前沿SMG算法在合成测试问题上成功近似了整个帕累托前沿，表现出稳健性并收敛至真实前沿。
• 该方法适用于监督机器学习，实证结果表明其在多数据组逻辑回归中能有效实现性能权衡优化。
• 理论分析证实，期望次优性间隙随 $O(1/\sqrt{k})$ 递减，且显式界中包含初始迭代点到最优解的距离与梯度方差。
• Spread与Purity指标表明，SMG算法生成的帕累托前沿分布良好且准确，具有高纯度与低孔洞尺寸。