[论文解读] Reinforcement Learning for Combining Search Methods in the Calibration of Economic ABMs

Aldo Glielmo, Marco Favorito+2 more|arXiv (Cornell University)|Feb 23, 2023

Complex Systems and Time Series AnalysisEconomics, Econometrics and Finance参考文献 56被引用 3

一句话总结

本文提出了一种强化学习（RL）框架，通过动态组合多种搜索方法来标定经济系综基于模型（ABMs），其性能优于单一方法或静态组合。通过将方法选择问题建模为多臂赌博机问题，RL智能体能够实时自适应，既利用高性能策略，又在性能停滞时探索替代方案，在基准ABMs上实现了更优的标定效率，且无需预先调参或假设。

ABSTRACT

Calibrating agent-based models (ABMs) in economics and finance typically involves a derivative-free search in a very large parameter space. In this work, we benchmark a number of search methods in the calibration of a well-known macroeconomic ABM on real data, and further assess the performance of "mixed strategies" made by combining different methods. We find that methods based on random-forest surrogates are particularly efficient, and that combining search methods generally increases performance since the biases of any single method are mitigated. Moving from these observations, we propose a reinforcement learning (RL) scheme to automatically select and combine search methods on-the-fly during a calibration run. The RL agent keeps exploiting a specific method only as long as this keeps performing well, but explores new strategies when the specific method reaches a performance plateau. The resulting RL search scheme outperforms any other method or method combination tested, and does not rely on any prior information or trial and error procedure.

研究动机与目标

• 评估并比较多种搜索方法在使用真实数据标定知名宏观经济学ABM时的性能。
• 探究组合多种搜索策略是否能够缓解单一方法的偏差并提升标定效率。
• 开发一种自动化的、自适应的方法选择框架，实现在标定过程中动态选择最佳搜索策略。
• 证明强化学习方法选择方案在收敛速度和准确性方面优于单一方法及固定组合，且无需预先调参。

提出的方法

• RL智能体将方法选择问题建模为多臂赌博机问题，其中每种搜索方法均为一个‘臂’，并具有随机奖励信号。
• 智能体采用ε-贪婪策略以平衡探索与利用，在性能停滞时切换方法。
• 奖励定义为每次模型评估中损失函数的改善量（如方法矩或欧几里得距离）。
• RL智能体在标定过程中实时运行，基于ABM模拟的实时反馈更新其策略。
• 该框架在两个ABM上进行了评估：BH4模型（Brock和Hommes，1998）和SIR模型，分别采用方法矩和欧几里得距离损失函数。
• 该方法无需关于最优方法的先验知识或试错调参，因而具有鲁棒性和通用性。

实验结果

研究问题

• RQ1 在真实数据上标定标准宏观经济学ABM时，哪种单一搜索方法表现最佳？
• RQ2 组合多种搜索方法是否能够使标定性能超越任何单一方法？
• RQ3 如何设计一种自适应策略，以在标定过程中自动选择最佳搜索方法？
• RQ4 基于强化学习的方法选择方案是否在收敛速度和准确性方面优于静态组合与单一方法？

主要发现

• 基于随机森林的代理方法在基准ABMs上，其收敛速度和准确性优于其他单一搜索策略。
• 组合多种搜索方法能持续提升性能，有效缓解单一方法固有的偏差。
• 所提出的强化学习方案实现了最佳整体性能，收敛速度更快，且达到的损失值低于所有测试方法或组合。
• RL智能体成功识别并利用了高性能策略，同时在性能平台期探索替代方案，且无需预先调参。
• 该方法在不同损失函数（方法矩和欧几里得距离）及不同ABM类型（BH4和SIR模型）中均表现出鲁棒性。
• 该框架具有通用性，不依赖领域特定假设或预调参，适用于ABM标定的广泛场景。