[论文解读] Reinforcement Learning in High-frequency Market Making

Yuheng Zheng, Zihan Ding|arXiv (Cornell University)|Jul 14, 2024

Innovation Diffusion and ForecastingDecision Sciences被引用 3

一句话总结

本文首次对高频做市中的强化学习（RL）进行了全面的理论分析，建立了离散时间RL算法在采样频率提高时向连续时间模型收敛的理论基础。研究揭示了时间步长Δ对学习误差与计算复杂度之间的权衡关系，并证明了在双人一般和博弈设置下纳什均衡的收敛性。

ABSTRACT

This paper establishes a new and comprehensive theoretical analysis for the application of reinforcement learning (RL) in high-frequency market making. We bridge the modern RL theory and the continuous-time statistical models in high-frequency financial economics. Different with most existing literature on methodological research about developing various RL methods for market making problem, our work is a pilot to provide the theoretical analysis. We target the effects of sampling frequency, and find an interesting tradeoff between error and complexity of RL algorithm when tweaking the values of the time increment $Δ$ $-$ as $Δ$ becomes smaller, the error will be smaller but the complexity will be larger. We also study the two-player case under the general-sum game framework and establish the convergence of Nash equilibrium to the continuous-time game equilibrium as $Δ ightarrow0$. The Nash Q-learning algorithm, which is an online multi-agent RL method, is applied to solve the equilibrium. Our theories are not only useful for practitioners to choose the sampling frequency, but also very general and applicable to other high-frequency financial decision making problems, e.g., optimal executions, as long as the time-discretization of a continuous-time markov decision process is adopted. Monte Carlo simulation evidence support all of our theories.

研究动机与目标

• 为将强化学习（RL）应用于高频做市提供严谨的理论基础，突破启发式方法论研究的局限。
• 分析采样频率（时间步长Δ）对连续时间金融模型中RL算法精度与计算复杂度的影响。
• 将分析扩展至涉及多个做市商的竞争性做市场景，采用博弈论框架。
• 建立离散时间RL解（如纳什Q学习）在Δ → 0时收敛于其连续时间对应解的理论基础。
• 为从业者提供实用指导，基于误差与计算成本之间的权衡关系，选择最优采样频率。

提出的方法

• 使用时间步长Δ对连续时间马尔可夫决策过程（MDP）进行时间离散化，以支持离散时间RL算法的应用。
• 在离散化MDP中应用Q学习解决单智能体RL下的最优做市策略，并给出学习误差的理论边界。
• 将模型扩展至双人一般和随机博弈框架，以捕捉做市商之间的竞争关系，以纳什均衡作为解的概念。
• 在离散化博弈设置中，开发并开展纳什Q学习算法在多智能体RL中的理论分析。
• 使用蒙特卡洛模拟验证理论收敛结果，并展示RL算法的实证性能。
• 基于受控马尔可夫链理论与随机逼近方法，理论推导当Δ → 0时价值函数与策略的收敛速率。

实验结果

研究问题

• RQ1 采样频率Δ的选择如何影响基于RL的高频做市中的学习误差与计算复杂度？
• RQ2 当Δ → 0时，离散化RL解与真实连续时间最优策略之间的理论关系是什么？
• RQ3 当Δ → 0时，离散化双人博弈的纳什均衡是否收敛至连续时间博弈的均衡？
• RQ4 纳什Q学习算法是否能有效学习多智能体高频做市环境中的均衡策略？
• RQ5 在单智能体与多智能体设置下，样本复杂度与误差的理论边界如何随Δ变化？

主要发现

• 学习误差与算法复杂度之间存在权衡关系：当Δ减小（采样频率提高）时，学习误差降低，但计算成本上升。
• 在单智能体情况下，价值函数误差随Δ → 0收敛至零，模拟中误差降至(0.09, 0.05)。
• 纳什Q学习算法的策略误差在模拟中达到零，表明精确恢复了真实均衡策略。
• 通过实证验证，离散化模型中纳什均衡策略与价值函数向连续时间模型收敛，|VΔ − V0| < 0.057。
• 理论分析证实，离散时间博弈的纳什均衡在Δ → 0时收敛至连续时间博弈的均衡。
• 所提出的框架可推广至其他涉及时间离散化连续时间MDP的高频金融问题，如最优执行。