[论文解读] Quantum-Inspired Tensor Neural Networks for Partial Differential Equations

Raj Patel, Chia-Wei Hsing+12 more|arXiv (Cornell University)|Aug 3, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种受量子物理启发的张量神经网络（TNN），利用张量网络（TN）架构——特别是矩阵乘积算子（MPO）——更高效地求解高维抛物型偏微分方程（PDEs），相比标准密集神经网络（DNNs）具有优势。通过使用低秩张量分解表示权重矩阵，TNN在保持与DNN相当精度的同时，参数量最多减少66%，训练速度最快提升32.8%，该结论在Black-Scholes-Barenblatt和Hamilton-Jacobi-Bellman PDE上得到验证。

ABSTRACT

Partial Differential Equations (PDEs) are used to model a variety of dynamical systems in science and engineering. Recent advances in deep learning have enabled us to solve them in a higher dimension by addressing the curse of dimensionality in new ways. However, deep learning methods are constrained by training time and memory. To tackle these shortcomings, we implement Tensor Neural Networks (TNN), a quantum-inspired neural network architecture that leverages Tensor Network ideas to improve upon deep learning approaches. We demonstrate that TNN provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. We benchmark TNN by applying them to solve parabolic PDEs, specifically the Black-Scholes-Barenblatt equation, widely used in financial pricing theory, empirically showing the advantages of TNN over DNN. Further examples, such as the Hamilton-Jacobi-Bellman equation, are also discussed.

研究动机与目标

• 为解决深度学习方法在求解高维PDE时面临的高内存占用和训练成本问题。
• 克服标准密集神经网络（DNNs）的局限性，包括参数效率低下和收敛速度慢。
• 证明受量子多体物理启发的张量神经网络（TNNs）在参数效率和训练速度方面均优于DNNs。
• 通过将TNN与具有相同参数数量的所有DNN进行严格比较，量化其优势，而非仅与单一DNN对比。
• 在基准PDE上验证该方法，包括Black-Scholes-Barenblatt方程和Hamilton-Jacobi-Bellman方程。

提出的方法

• 通过将标准DNN中的密集权重矩阵替换为矩阵乘积算子（MPO），即张量网络分解的一种形式，将DNN转化为张量神经网络（TNN）。
• MPO将权重矩阵表示为一系列低秩张量，显著减少可训练参数数量，同时保持模型的表征能力。
• TNN架构采用标准反向传播进行训练，MPO结构支持高效的梯度计算和内存节省。
• 作者并非将TNN与单一DNN对比，而是与所有具有相同总参数数的两层DNN进行比较，确保性能评估的公平性。
• 该方法在Black-Scholes-Barenblatt PDE上进行了验证，并在补充实验中进一步测试了Hamilton-Jacobi-Bellman方程。
• 通过在多个键维数（χ）和网络宽度下评估收敛速度与参数数量，分析泛化能力与可扩展性。

实验结果

研究问题

• RQ1 基于张量网络的神经网络（TNNs）是否能在显著减少参数量的同时，达到与DNNs相当的精度？
• RQ2 TNN架构是否在等参数量下相比DNNs实现更快的训练收敛速度？
• RQ3 当两者参数量受限相同时，TNNs相较于最优DNN架构的性能优势有多大？
• RQ4 MPO表示中的键维数（χ）如何影响TNNs相对于DNNs的性能与收敛表现？
• RQ5 TNN框架是否能有效应用于现实世界中的PDE，如Black-Scholes-Barenblatt和Hamilton-Jacobi-Bellman方程？

主要发现

• TNN在仅使用353个参数的情况下，达到了与最佳匹配DNN（使用1057个参数）相当的解精度，参数量减少了66%。
• 对于键维数χ=4的TNN(16)架构，其训练收敛速度比具有相同参数量的最佳DNN快26.9%。
• 最大训练加速比达32.8%，出现在键维数χ=4的TNN(144)架构上，其性能优于所有具有相同参数量的DNN。
• 随着键维数的增加，TNN与DNN之间的性能差距逐渐缩小，证实当χ足够大时，MPO可有效逼近稠密矩阵。
• 在多种配置下，TNN框架始终优于所有具有相同参数量的DNN，验证了其在效率与收敛速度方面的优越性。
• 该方法成功扩展至Hamilton-Jacobi-Bellman方程，证明其在Black-Scholes-Barenblatt案例之外也具有广泛适用性。