[论文解读] Recursive Experts: An Efficient Optimal Mixture of Learning Systems in Dynamic Environments

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Sep 19, 2020

Advanced Bandit Algorithms Research参考文献 47被引用 6

一句话总结

本文提出Recursive Experts，一种新颖的框架，可高效地将多个顺序学习系统合并为单一自适应算法，在动态环境中实现极小化最大遗憾（minimax optimal regret）。通过使用对数计算开销递归组合超专家（hyper-experts），该方法在环境任意且不可预测地变化时，仍能实现$O(C^\alpha T^{1-\alpha})$的遗憾，与理论下限仅相差常数因子。

ABSTRACT

Sequential learning systems are used in a wide variety of problems from decision making to optimization, where they provide a 'belief' (opinion) to nature, and then update this belief based on the feedback (result) to minimize (or maximize) some cost or loss (conversely, utility or gain). The goal is to reach an objective by exploiting the temporal relation inherent to the nature's feedback (state). By exploiting this relation, specific learning systems can be designed that perform asymptotically optimal for various applications. However, if the framework of the problem is not stationary, i.e., the nature's state sometimes changes arbitrarily, the past cumulative belief revision done by the system may become useless and the system may fail if it lacks adaptivity. While this adaptivity can be directly implemented in specific cases (e.g., convex optimization), it is mostly not straightforward for general learning tasks. To this end, we propose an efficient optimal mixture framework for general sequential learning systems, which we call the recursive experts for dynamic environments. For this purpose, we design hyper-experts that incorporate the learning systems at our disposal and recursively merge in a specific way to achieve minimax optimal regret bounds up to constant factors. The multiplicative increases in computational complexity from the initial system to our adaptive system are only logarithmic-in-time factors.

研究动机与目标

• 为解决在非平稳、动态变化环境中维持最优性能的挑战，传统顺序学习系统因信念更新过时而失效。
• 设计一种通用框架，自适应地组合多个学习系统，而无需针对具体问题进行重新设计。
• 在动态环境中实现极小化最大遗憾边界，同时与基础学习系统相比仅增加对数计算开销。
• 开发一种递归合并机制，使超专家能够实时动态重构并响应环境变化。

提出的方法

• 该框架引入超专家，通过分层树状结构递归合并多个基础学习系统，以保持适应性。
• 采用时间分段方法，每个时间段由一个基础算法处理，其遗憾为$O(t_c^{1-\alpha})$，确保局部最优性。
• 采用递归合并策略，在不同时间尺度上组合基础算法的输出，利用2的幂次时间间隔以平衡探索与适应。
• 通过结合混合算法与基础算法的性能，实现$O(\sqrt{CT})$的混合遗憾和$O(C^\alpha T^{1-\alpha})$的总遗憾。
• 该算法根据环境变化动态重置并重新配置信念系统，确保过时信念不会降低性能。
• 理论分析证明，总遗憾在常数因子范围内达到极小化最大遗憾最优，且计算复杂度仅增加$\log(T)$因子。

实验结果

研究问题

• RQ1 能否设计一种通用框架，在计算开销极低的前提下，最优地组合多个顺序学习系统，以应对动态环境？
• RQ2 当环境经历任意非平稳变化时，如何维持极小化最大遗憾边界的最优性？
• RQ3 何种递归合并策略可实现高效适应，同时保持各基础算法的遗憾性能？
• RQ4 在非平稳设置中，如何在保持最优遗憾的前提下，最大限度降低自适应学习的计算成本？

主要发现

• Recursive Experts算法在已知时间范围$T$和$C$个变化点的情况下，实现$O(C^\alpha T^{1-\alpha})$的遗憾，与理论下限仅相差常数因子。
• 计算复杂度仅比基础学习系统增加$\log(T)$因子，因此该方法具有高度效率。
• 混合组件贡献$O(\sqrt{CT})$的遗憾，而基础算法组件贡献$O(C^\alpha T^{1-\alpha})$的遗憾，后者占主导地位并决定整体边界。
• 该框架在动态环境中具有极小化最大遗憾最优性，优于非自适应或简单合并的系统，在非平稳环境中表现更优。
• 递归合并机制确保信念更新在环境变化后仍保持相关性，避免因累积更新过时而导致性能停滞。
• 该方法可泛化至多种学习系统，无需针对具体问题调参，因此在顺序决策与在线学习任务中具有广泛适用性。