[论文解读] Random feature neural networks learn Black-Scholes type PDEs without curse of dimensionality

Lukas Gonon|arXiv (Cornell University)|Jun 14, 2021

Model Reduction and Neural Networks被引用 12

一句话总结

本文证明了随机特征神经网络能够在不遭受维数灾难的情况下学习高维Black-Scholes型偏微分方程（PDE）的解。通过仅训练输出权重而固定随机隐藏层参数，该方法在逼近误差、泛化误差和优化误差方面均实现了与维度无关的多项式收敛速率，从而为金融PDE提供了可证明高效的求解方法。

ABSTRACT

This article investigates the use of random feature neural networks for learning Kolmogorov partial (integro-)differential equations associated to Black-Scholes and more general exponential L\\'evy models. Random feature neural networks are single-hidden-layer feedforward neural networks in which only the output weights are trainable. This makes training particularly simple, but (a priori) reduces expressivity. Interestingly, this is not the case for Black-Scholes type PDEs, as we show here. We derive bounds for the prediction error of random neural networks for learning sufficiently non-degenerate Black-Scholes type models. A full error analysis is provided and it is shown that the derived bounds do not suffer from the curse of dimensionality. We also investigate an application of these results to basket options and validate the bounds numerically. These results prove that neural networks are able to \ extit{learn} solutions to Black-Scholes type PDEs without the curse of dimensionality. In addition, this provides an example of a relevant learning problem in which random feature neural networks are provably efficient.

研究动机与目标

• 为解决金融模型（如Black-Scholes和指数Lévy过程）中出现的高维Kolmogorov PDE求解挑战。
• 通过分析逼近误差、泛化误差和优化误差三类误差，填补神经网络在高维PDE学习中成功原因的理论空白。
• 证明尽管隐藏层权重固定导致表达能力受限，随机特征神经网络仍可在此背景下克服维数灾难。
• 在50维篮子期权定价问题上对理论结果进行数值验证。

提出的方法

• 该方法采用单隐藏层前馈神经网络，其隐藏层权重随机初始化并保持固定，仅通过无约束回归训练输出权重。
• 理论分析通过逼近误差、泛化误差和优化误差三部分界定了预测误差，均显示与样本量呈多项式关系，且与隐藏节点数成反比。
• 关键技术手段包括使用重尾权重分布（如t分布）的随机特征映射，以确保对PDE解具有足够的表达能力。
• 分析基于若干假设，如支付函数与指数映射的复合函数可积，以及扩散矩阵满足非退化条件，这些条件可保证误差界与维度无关。
• 数值验证通过蒙特卡洛模拟生成50维Black-Scholes PDE的带噪声训练数据，测试误差在保留样本上进行测量。
• 实证误差与理论的$1/\sqrt{N}$衰减速率进行比较，其中$N$为隐藏节点数，结果验证了理论预测。

实验结果

研究问题

• RQ1 随机特征神经网络是否能够在不遭受维数灾难的情况下学习高维Black-Scholes型PDE的解？
• RQ2 在该设定下，逼近误差、泛化误差和优化误差三类误差是否均实现与维度无关的收敛速率？
• RQ3 在包括非可积支付变换在内的现实假设下，隐藏节点数$N$的$1/\sqrt{N}$收敛速率是否仍能保持？
• RQ4 数值实验提示误差界可放宽至当前可积性与非退化性假设之外，这一理论松弛是否可能？

主要发现

• 随机特征神经网络在学习Black-Scholes型PDE时，预测误差随隐藏节点数$N$的增加以$O(1/\sqrt{N})$的速率衰减，且与问题维度$d$无关。
• 所有三类误差——逼近误差、泛化误差和优化误差——均实现不随维度指数增长的多项式收敛速率，从而避免了维数灾难。
• 在50维篮子期权定价问题上的数值实验验证了理论的$1/\sqrt{N}$衰减，估计误差与理论$e_0 / \sqrt{N}$曲线高度吻合。
• 尽管违反了主定理中的可积性与非退化性假设，数值结果仍表明$1/\sqrt{N}$衰减可能成立，提示理论边界或可进一步放宽。
• 本研究首次为Kolmogorov PDE提供了基于随机特征网络的可证明与维度无关的学习算法，并对三类误差进行了完整分析。