[论文解读] Style Miner: Find Significant and Stable Explanatory Factors in Time Series with Constrained Reinforcement Learning

Dapeng Li, Feiyang Pan+4 more|arXiv (Cornell University)|Mar 21, 2023

Stock Market Forecasting MethodsDecision Sciences被引用 3

一句话总结

Style Miner 是一种约束强化学习框架，通过将问题表述为约束马尔可夫决策过程（CMDP），在高维时间序列中发现显著且稳定的风格因子。其中，解释力被最大化为回报，而通过自相关性约束来强制实现时间稳定性。在真实金融数据上，其 R 平方解释力相比专家设计的因子实现了 10% 的相对提升。

ABSTRACT

In high-dimensional time-series analysis, it is essential to have a set of key factors (namely, the style factors) that explain the change of the observed variable. For example, volatility modeling in finance relies on a set of risk factors, and climate change studies in climatology rely on a set of causal factors. The ideal low-dimensional style factors should balance significance (with high explanatory power) and stability (consistent, no significant fluctuations). However, previous supervised and unsupervised feature extraction methods can hardly address the tradeoff. In this paper, we propose Style Miner, a reinforcement learning method to generate style factors. We first formulate the problem as a Constrained Markov Decision Process with explanatory power as the return and stability as the constraint. Then, we design fine-grained immediate rewards and costs and use a Lagrangian heuristic to balance them adaptively. Experiments on real-world financial data sets show that Style Miner outperforms existing learning-based methods by a large margin and achieves a relatively 10% gain in R-squared explanatory power compared to the industry-renowned factors proposed by human experts.

研究动机与目标

• 解决在高维时间序列数据中识别低维、稳定且高度解释力的风格因子的挑战。
• 在解释力与时间稳定性之间取得平衡，而现有监督与无监督方法无法同时优化这两者。
• 开发一种基于强化学习的方法，以发现有意义的风格因子，而无需依赖可微分损失函数或专家先验。
• 实现在金融和气候学等复杂领域中自动化、数据驱动的风格因子发现。

提出的方法

• 将风格因子发现表述为约束马尔可夫决策过程（CMDP），以解释力作为回报，以因子序列的自相关性作为约束。
• 基于个股对解释力的贡献设计细粒度的即时奖励，以改善信用分配并缓解稀疏奖励问题。
• 引入基于负自相关性的成本项，显式惩罚不稳定的因子序列。
• 采用带有自适应惩罚系数的拉格朗日启发式方法，动态平衡回报最大化与约束满足。
• 使用基于 GRU 的策略网络，以建模时间依赖性并从原始时间序列输入生成连续风格因子。
• 采用多任务学习策略，同时使用原始数据和专家因子的输入特征，以提升泛化能力与稳定性。

实验结果

研究问题

• RQ1 强化学习能否有效发现时间序列中在高解释力与时间稳定性之间取得平衡的风格因子？
• RQ2 所提出的约束强化学习框架在 R 平方与自相关性方面相较于监督与无监督基线方法表现如何？
• RQ3 不同输入特征（原始数据、专家因子或两者结合）对学习到的风格因子性能与稳定性有何影响？
• RQ4 方法中的各个组件（如 GRU、约束、惩罚项、奖励分解）对整体性能的贡献如何？

主要发现

• 与金融时间序列中行业标准的专家设计因子相比，Style Miner 在 R 平方解释力上实现了 10% 的相对提升。
• 在 S&P 500 数据集上，Style Miner 实现了 27.4% 的 R 平方与 0.92 的自相关性，显著优于 DRM 及其他强化学习基线方法。
• 消融实验证实，每个组件——GRU、约束、惩罚项与奖励分解——均不可或缺，其中移除奖励分解会导致 R 平方下降 11%。
• 当同时使用原始数据与专家因子作为输入时，Style Miner 实现了 27.6% 的 R 平方与 0.93 的自相关性，表现出更优的性能与稳定性。
• 在 CSI500 数据集上，Style Miner 实现了 31.1% 的 R 平方与 0.92 的自相关性，其解释力与稳定性均优于 PPO（28.7%）与 DDPG（28.0%）。
• 自适应惩罚机制实现了更好的回报与约束之间的平衡，在保持高自相关性的同时，获得了比非自适应方法更高的 R 平方。