[论文解读] TAdam: A Robust Stochastic Gradient Optimizer

Wendyam Eric Lionel Ilboudo, Taisuke Kobayashi+1 more|arXiv (Cornell University)|Feb 29, 2020

Machine Learning and Data Classification参考文献 33被引用 7

一句话总结

TAdam 是一种鲁棒的随机梯度优化器，通过用基于学生t分布的方法替代 Adam 的自适应动量估计，显著提升了在回归、分类和强化学习任务中噪声数据下的性能。该方法通过重尾梯度建模降低异常值的影响，从而实现更好的收敛性和鲁棒性。

ABSTRACT

Machine learning algorithms aim to find patterns from observations, which may include some noise, especially in robotics domain. To perform well even with such noise, we expect them to be able to detect outliers and discard them when needed. We therefore propose a new stochastic gradient optimization method, whose robustness is directly built in the algorithm, using the robust student-t distribution as its core idea. Adam, the popular optimization method, is modified with our method and the resultant optimizer, so-called TAdam, is shown to effectively outperform Adam in terms of robustness against noise on diverse task, ranging from regression and classification to reinforcement learning problems. The implementation of our algorithm can be found at https://github.com/Mahoumaru/TAdam.git

研究动机与目标

• 为解决 Adam 及其他一阶优化器在机器学习中对噪声或异常值敏感的梯度的敏感性问题，特别是在传感器数据固有噪声的机器人领域。
• 开发一种内在具备异常梯度检测与降权能力的鲁棒优化方法，无需依赖外部噪声建模或数据过滤。
• 通过用基于学生t分布的重尾估计替代 Adam 中的标准自适应动量，提升深度学习中的收敛性和泛化能力。
• 在非独立同分布和重尾梯度假设下，通过遗憾界分析为所提出方法的鲁棒性提供理论支持。

提出的方法

• TAdam 用基于梯度到估计均值的马氏距离的逆卡方分布权重的加权平均，替代了 Adam 中的梯度指数移动平均。
• 该方法使用学生t分布对梯度波动进行建模，对重尾和异常值敏感的数据具有鲁棒性，尤其在样本较少时表现更优。
• 通过加权和计算鲁棒动量估计，其中权重与梯度相对于估计均值的平方马氏距离成反比，从而降低异常值的影响。
• 权重更新规则定义为 $ w_t = \frac{\nu + d}{\nu + D_t} $，其中 $ D_t $ 为马氏距离，$ \nu $ 为自由度参数。
• 通过 $ \beta_w = \frac{W_{t-1}}{W_{t-1} + w_t} $ 调整有效学习率，其中 $ W_t $ 为过去梯度的累积加权和，确保动量跟踪的稳定性。
• 理论分析在重尾梯度假设下推导了 TAdam 的遗憾界，表明其在收敛稳定性方面优于 Adam。

实验结果

研究问题

• RQ1 能否设计一种内在鲁棒的随机优化器，无需显式数据过滤或噪声建模，即可有效应对噪声梯度？
• RQ2 将 Adam 中的自适应动量替换为基于学生t分布的鲁棒估计，如何提升在噪声或重尾数据上的性能？
• RQ3 在非高斯、重尾梯度分布下，所提出的 TAdam 优化器的理论遗憾界是什么？
• RQ4 TAdam 中基于马氏距离的加权方案与标准指数平均相比，在异常值剔除能力和收敛速度方面有何差异？

主要发现

• TAdam 在包括回归、分类和强化学习在内的多种任务中均优于 Adam，尤其在噪声数据条件下表现更优。
• TAdam 的遗憾界推导为 $ R_T \leq \frac{D^{2}_{\infty}}{2\alpha_{T}(1-\bar{\beta}_{w})}\sum_{i=1}^{d}\hat{v}_{T,i}^{1/2} + \frac{D^{2}_{\infty}}{(1-\bar{\beta}_{w})^{2}}\sum_{t=1}^{T}\sum_{i=1}^{d}\frac{\beta_{1t}\hat{v}_{t,i}^{1/2}}{\alpha_{t}} + \frac{\alpha\sqrt{1+\log T}}{(1-\bar{\beta}_{w})^{2}(1-\gamma)\sqrt{1-\beta_{2}}}\sum_{i=1}^{d}\|g_{1:T,i}\|_2 $，表明其在重尾梯度下的稳定性更优。
• 期望权重 $ \mathbb{E}[w_t] $ 介于 $ \frac{1}{d+\nu} $ 和 $ \frac{1}{d-2+\nu} $ 之间，通过重尾建模确保对异常值的鲁棒性。
• 动量权重的期望值 $ \mathbb{E}[\beta_w] \leq \beta_1 $，证明 TAdam 即使在非独立同分布梯度下也能保持稳定且有界的动量更新。
• 理论分析确认，TAdam 的鲁棒性源于在梯度矩估计中使用学生t分布，其对重尾行为的捕捉能力优于高斯假设。