[论文解读] Variational Adaptive-Newton Method for Explorative Learning

Mohammad Emtiyaz Khan, Lin Wu+3 more|arXiv (Cornell University)|Nov 15, 2017

Evolutionary Algorithms and Applications参考文献 30被引用 7

一句话总结

本文提出变分自适应牛顿（VAN）方法，一种黑箱优化技术，将贝叶斯探索与高效的二阶优化相结合。通过使用变分推断近似参数的后验分布，并结合自适应海森矩阵估计的镜面下降法，VAN 在强化学习和主动学习等任务中实现了高效且计算成本较低的探索，相较于现有方法在样本效率和稳定性方面表现更优。

ABSTRACT

We present the Variational Adaptive Newton (VAN) method which is a black-box optimization method especially suitable for explorative-learning tasks such as active learning and reinforcement learning. Similar to Bayesian methods, VAN estimates a distribution that can be used for exploration, but requires computations that are similar to continuous optimization methods. Our theoretical contribution reveals that VAN is a second-order method that unifies existing methods in distinct fields of continuous optimization, variational inference, and evolution strategies. Our experimental results show that VAN performs well on a wide-variety of learning tasks. This work presents a general-purpose explorative-learning method that has the potential to improve learning in areas such as active learning and reinforcement learning.

研究动机与目标

• 解决在序列学习任务中结合贝叶斯探索与计算效率的挑战。
• 开发一种通用优化方法，支持有效探索，同时避免完整贝叶斯推断的高成本。
• 在统一的二阶框架下整合连续优化、变分推断与进化策略中的不同方法。
• 在高维问题（如深度强化学习和主动学习）中实现可扩展的自适应探索。
• 提供一种计算高效的全贝叶斯方法替代方案，同时保留分布不确定性带来的探索优势。

提出的方法

• 通过在参数化分布 $ q(oldsymbol{ heta}|oldsymbol{ heta}) $ 下最小化目标函数的期望，将优化问题表述为变分推断任务。
• 应用镜面下降算法优化变分参数 $ oldsymbol{ heta} $，通过自适应海森矩阵近似将问题视为二阶优化。
• 使用高斯分布 $ q(oldsymbol{ heta}|oldsymbol{ heta}) $ 建模不确定性，通过均值 $ oldsymbol{ heta} $ 和协方差 $ oldsymbol{ heta} $ 实现探索。
• 利用重参数化技巧和高斯-牛顿近似，推导出海森矩阵的高效近似，以降低计算成本。
• 引入随机变体（sVAN 和 sVAG），在深度学习场景中使用对角海森矩阵近似以提升可扩展性。
• 建立 VAN 与连续优化、变分推断及进化策略中现有方法之间的理论联系。

实验结果

研究问题

• RQ1 能否设计一种二阶优化方法，在保持与非贝叶斯方法相当的计算效率的同时，支持有效探索？
• RQ2 如何利用变分推断在黑箱设置下统一贝叶斯探索与自适应优化？
• RQ3 在深度强化学习环境中，VAN 相较于 SGD 和 V-SGD 等基线方法的性能如何？
• RQ4 不同的海森矩阵近似方法（重参数化 vs. 高斯-牛顿）如何影响该方法的稳定性和样本效率？
• RQ5 在哪些学习任务中——如主动学习或强化学习——VAN 相较于现有探索策略具有显著优势？

主要发现

• VAN 方法在 OpenAI Gym 的 Half-Cheetah 策略学习中显著优于 SGD 和 V-SGD，展现出更高的样本效率和更稳定的性能。
• sVAN-D-10 使用更精确的海森矩阵近似，在训练初期展现出比 sVAN-D-1 更高的数据效率，表明其探索动态更优。
• sVAN 与 sVAG 在 Half-Cheetah 任务上表现相当，表明基于重参数化与基于高斯-牛顿的海森矩阵近似对本问题均有效。
• V-SGD 虽能发现良好策略，但随时间推移表现出性能不稳定，凸显了独立更新均值与协方差的局限性。
• SGD 因缺乏探索而表现欠佳，凸显了在复杂控制任务中自适应探索的关键作用。
• 通过使用对角海森矩阵近似，该方法在高维设置中展现出潜力，但对大模型而言完整海森矩阵计算仍不可行。