[论文解读] Provably Correct Learning Algorithms in the Presence of Time-Varying Features Using a Variational Perspective

Joseph E. Gaudio, Travis E. Gibson+2 more|arXiv (Cornell University)|Mar 11, 2019

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种基于连续时间变分框架的可证明正确的高阶学习算法，用于具有时变特征的机器学习。通过整合自适应控制中的概念（如高阶调节器和归一化），该方法为具有时变回归器的动力系统建立了稳定性与收敛性保证，将加速梯度方法的适用范围从静态特征假设扩展至动态场景。

ABSTRACT

Features in machine learning problems are often time-varying and may be related to outputs in an algebraic or dynamical manner. The dynamic nature of these machine learning problems renders current higher order accelerated gradient descent methods unstable or weakens their convergence guarantees. Inspired by methods employed in adaptive control, this paper proposes new algorithms for the case when time-varying features are present, and demonstrates provable performance guarantees. In particular, we develop a unified variational perspective within a continuous time algorithm. This variational perspective includes higher order learning concepts and normalization, both of which stem from adaptive control, and allows stability to be established for dynamical machine learning problems where time-varying features are present. These higher order algorithms are also examined for provably correct learning in adaptive control and identification. Simulations are provided to verify the theoretical results.

研究动机与目标

• 解决现有加速梯度方法在特征随时间变化时出现的不稳定性和收敛性减弱问题。
• 将可证明稳定的学习方法扩展至具有时变特征的动力机器学习问题，填补当前高阶优化理论中的空白。
• 在连续时间变分框架中统一自适应控制原则（如高阶调节器和归一化），以应用于机器学习。
• 确保在参数不确定性与时变动态条件下，在线自适应控制与系统辨识中实现稳定且收敛的学习。
• 通过理论分析与仿真验证，证明所提算法在真实动力系统（如飞机控制）中的有效性。

提出的方法

• 提出一种连续时间变分视角，将加速梯度方法推广至包含高阶动态与归一化的形式。
• 引入一种受自适应控制启发的“高阶调节器”，以在时变特征与动态回归器下稳定学习过程。
• 推导出一个连续时间动力系统，其中参数更新律可确保渐近稳定并收敛至最优解。
• 将变分框架应用于静态回归与动力系统辨识，将学习动态嵌入基于李雅普诺夫的稳定性分析中。
• 将连续时间算法转化为可实现的离散时间形式，并保证其收敛速率的理论性能。
• 利用李雅普诺夫函数证明：在时变特征下，参数估计误差可收敛至零。

实验结果

研究问题

• RQ1 高阶梯度方法能否被扩展，以在特征时变时仍保证稳定性和收敛性？
• RQ2 如何将自适应控制中的概念（如高阶调节器）整合进机器学习，以处理动态回归器？
• RQ3 何种变分公式可实现对时变特征在线学习的可证明收敛性？
• RQ4 所提方法能否保证在具有时变输入的不确定动力系统自适应控制中实现零跟踪误差？
• RQ5 在实际应用中，特征频率的变化如何影响学习算法的收敛性与稳定性？

主要发现

• 所提出的高阶调节器即使在特征时变时，也能确保参数估计误差渐近收敛至零。
• 变分框架可在连续时间下实现任意快的收敛速率，且其离散时间实现形式仍保持理论保证。
• 在F-16飞机模型上的仿真结果表明，该算法在时变回归器下对俯仰率指令跟踪实现了零跟踪误差。
• 当特征频率逐渐增加时，该方法在稳定性和收敛性方面优于标准Nesterov型方法。
• 该算法在多种特征轨迹下均保持鲁棒性，包括周期从50秒至1秒的正弦变化。
• 引入归一化与高阶动态可防止发散，并确保在时变回归器下参数轨迹有界。