[论文解读] Towards White-box Benchmarks for Algorithm Control

André Biedenkapp, H. Furkan Bozkurt+2 more|arXiv (Cornell University)|Jun 18, 2019

Machine Learning and Data Classification参考文献 31被引用 4

一句话总结

本文提出了一种新颖的框架，通过强化学习（RL）实现算法中动态超参数控制，将其建模为上下文马尔可夫决策过程（MDP），其中策略能够随时间适应不同问题实例。该研究提出了三个新的白盒基准，用于评估算法控制性能，并表明随着策略复杂度和实例异质性的增加，RL优于静态黑盒配置。

ABSTRACT

The performance of many algorithms in the fields of hard combinatorial problem solving, machine learning or AI in general depends on tuned hyperparameter configurations. Automated methods have been proposed to alleviate users from the tedious and error-prone task of manually searching for performance-optimized configurations across a set of problem instances. However there is still a lot of untapped potential through adjusting an algorithm's hyperparameters online since different hyperparameters are potentially optimal at different stages of the algorithm. We formulate the problem of adjusting an algorithm's hyperparameters for a given instance on the fly as a contextual MDP, making reinforcement learning (RL) the prime candidate to solve the resulting algorithm control problem in a data-driven way. Furthermore, inspired by applications of algorithm configuration, we introduce new white-box benchmarks suitable to study algorithm control. We show that on short sequences, algorithm configuration is a valid choice, but that with increasing sequence length a black-box view on the problem quickly becomes infeasible and RL performs better.

研究动机与目标

• 通过实现动态、实例感知的控制，解决迭代算法中静态超参数配置的局限性。
• 将在线超参数调整形式化为上下文MDP，以建模依赖于实例的策略学习。
• 开发新的、透明的（白盒）基准，用于在多样化问题实例上评估算法控制。
• 研究黑盒优化与强化学习在动态算法控制中的可行性与性能对比。
• 证明RL在未见或复杂实例集上的泛化能力优于静态配置。

提出的方法

• 将算法控制建模为上下文MDP，其中状态表示算法进展和实例特征，动作表示超参数设置，奖励基于性能指标。
• 使用具有函数逼近的深度Q网络（DQN）在高维状态-动作空间中学习策略。
• 设计三个新型白盒基准：Sigmoid、SigmoidMVA和一个合成MVA问题，每个均具有针对特定实例的最优超参数序列。
• 在训练集和测试集实例上，使用深度RL（DQN）、ε-贪婪Q学习和黑盒优化器（SMAC、URS）训练智能体。
• 通过在有限实例集上训练并在未见实例上测试，评估泛化性能，衡量策略的鲁棒性和收敛速度。
• 对25次训练运行进行平滑处理和统计平均，以确保可靠的性能估计，并报告标准误差。

实验结果

研究问题

• RQ1 强化学习能否有效学习动态超参数策略，使其在算法执行过程中自适应于单个问题实例？
• RQ2 随着策略长度和复杂度的增加，黑盒算法配置的性能与基于RL的控制相比如何？
• RQ3 RL智能体在算法控制任务中，从有限的训练实例集泛化到未见测试实例的程度如何？
• RQ4 不同的探索策略（如ε-贪婪与随机采样）对动态算法控制中策略学习的影响如何？
• RQ5 在异质实例设置中，状态信息在使RL智能体优于黑盒优化器方面发挥何种作用？

主要发现

• 使用函数逼近的强化学习（DQN）在Sigmoid和SigmoidMVA基准上成功学习了动态超参数策略，且随着策略长度增加，其性能优于静态黑盒配置。
• 在短序列上，黑盒优化（如SMAC）的性能与DQN相当，验证了其在简单、固定长度策略中的可行性。
• 表格式Q学习智能体即使在完整100个实例的训练集上训练，仍因过拟合和局部最优而无法泛化到未见测试实例。
• DQN能有效泛化到未见测试实例，学习到一种能适应实例特定最优超参数序列的稳健策略。
• 在高维动作空间（如SigmoidMVA中5个动作）中，SMAC等黑盒优化器缺乏状态信息时表现困难，而DQN能利用状态上下文有效适应。
• 所提出的白盒基准实现了对算法控制的可控评估，揭示了静态配置的局限性，以及数据驱动、动态策略学习的优势。