[论文解读] Physics-Informed Convolutional Transformer for Predicting Volatility Surface

Soohan Kim, Seok-Bae Yun+3 more|arXiv (Cornell University)|Sep 22, 2022

Stock Market Forecasting Methods被引用 7

一句话总结

该论文提出了一种物理信息卷积Transformer（PI-ConvTF），通过将Black-Scholes偏微分方程（PDE）整合到基于Transformer的深度学习架构中，用于预测金融市场的波动率曲面。该模型在稳定市场条件下优于标准PINNs、ConvLSTM和自注意力变体，但在波动性较高的时期表现出更高的过拟合风险，原因在于其架构复杂性。

ABSTRACT

Predicting volatility is important for asset predicting, option pricing and hedging strategies because it cannot be directly observed in the financial market. The Black-Scholes option pricing model is one of the most widely used models by market participants. Notwithstanding, the Black-Scholes model is based on heavily criticized theoretical premises, one of which is the constant volatility assumption. The dynamics of the volatility surface is difficult to estimate. In this paper, we establish a novel architecture based on physics-informed neural networks and convolutional transformers. The performance of the new architecture is directly compared to other well-known deep-learning architectures, such as standard physics-informed neural networks, convolutional long-short term memory (ConvLSTM), and self-attention ConvLSTM. Numerical evidence indicates that the proposed physics-informed convolutional transformer network achieves a superior performance than other methods.

研究动机与目标

• 为解决隐含波动率曲面这一不可观测且在行权价和到期期限间高度动态变化的挑战。
• 通过将Black-Scholes模型中的物理定律整合到神经网络架构中，改进现有用于波动率曲面预测的深度学习模型。
• 评估将物理先验与先进注意力机制结合是否能提升预测准确性，相较于纯统计或纯物理模型。
• 研究所提出的架构在极端市场条件（如次贷危机和早期COVID-19大流行）下的鲁棒性。

提出的方法

• 提出一种物理信息卷积Transformer（PI-ConvTF），用3D卷积Transformer编码器替代PINNs中的标准密集神经网络，以建模时空波动率曲面。
• 将Black-Scholes偏微分方程（PDE）作为正则化损失项，确保预测结果与底层金融动态一致。
• 使用3D卷积主干网络从历史波动率曲面矩阵中提取时空特征，随后通过多头自注意力和前馈层进行处理。
• 采用混合损失函数，结合数据保真度（观测波动率的MSE）和物理保真度（PDE残差损失），实现端到端训练。
• 采用固定10个时间步的回溯窗口对输入数据进行序列化，以实现对动态演化波动率曲面的序列建模。
• 在真实市场数据上训练并评估模型，包括两个波动性较高的时期（次贷危机和早期COVID-19大流行），并与PINN、ConvLSTM和SA-ConvLSTM进行对比基准测试。

Figure 1: Interpolated volatility surfaces correspond to three market regimes: neutral market, bull market, and bear market. The blue dotted points represent baseline data points from the dataset. When Not-a-Number (NaN) values appear at the boundaries of the grid, these outliers can be replaced by

实验结果

研究问题

• RQ1 与标准PINN和基于LSTM的模型相比，采用物理信息正则化的基于Transformer的架构是否能提升波动率曲面预测的准确性？
• RQ2 在稳定和波动性较高的市场条件下，PI-ConvTF模型的性能与纯统计模型（如ConvLSTM、SA-ConvLSTM）相比如何？
• RQ3 将Black-Scholes PDE整合到卷积Transformer架构中是否能带来更好的泛化能力并减少过拟合？
• RQ4 当训练数据不包含波动性时期但测试数据包含时，模型复杂度如何影响性能？
• RQ5 增加时间回溯窗口对基于Transformer的模型与基于LSTM的模型的相对性能有何影响？

主要发现

• 在稳定市场条件下，PI-ConvTF模型表现更优，其平均绝对百分比误差（MAPE）优于标准PINN、ConvLSTM和SA-ConvLSTM。
• 在次贷危机测试期间，PI-ConvTF模型的MAPE为65.2277%，显著高于ConvLSTM（20.3654%）和SA-ConvLSTM（22.6122%），表明在波动性较高的市场中存在过拟合风险。
• 在早期COVID-19大流行测试期间，PI-ConvTF的MAPE为22.6640%，仍低于ConvLSTM（16.9395%）和SA-ConvLSTM（17.3269%），表明对数据分布变化敏感。
• 基于Transformer的模型在波动性较高时期性能下降，归因于其架构复杂性，以及在训练数据缺乏足够多样性时更容易发生过拟合。
• 在波动性较高的市场中，ConvLSTM和SA-ConvLSTM等统计模型始终优于PI-ConvTF，凸显了模型容量与鲁棒性之间的权衡。
• 研究证实，将物理约束与深度学习结合可提升稳定条件下的预测准确性，但必须谨慎管理架构复杂性，以避免在极端市场事件中发生过拟合。

Figure 2: Architecture of the Physics-Informed Neural Network (PINN) model. The diagram showcases the multiple layers and neurons integrated into the network. Starting with the input layer, which processes raw data ( $s,\tau,m,r$ ), the model progresses through a series of hidden layers equipped wit