[论文解读] Quasi-Monte Carlo sampling for machine-learning partial differential equations

Jingrun Chen, Rui Du+2 more|arXiv (Cornell University)|Nov 5, 2019

Mathematical Approximation and Integration参考文献 21被引用 4

一句话总结

本文提出在基于深度学习的高维偏微分方程（PDE）求解器中，将蒙特卡洛（MC）采样替换为拟蒙特卡洛（QMC）采样，特别针对深度Ritz方法框架。通过使用低差异序列替代随机样本，QMC在保持相同精度的前提下，将训练数据需求降低了两个多数量级，且理论分析证实其收敛速率与QMC积分误差成正比。

ABSTRACT

Solving partial differential equations in high dimensions by deep neural network has brought significant attentions in recent years. In many scenarios, the loss function is defined as an integral over a high-dimensional domain. Monte-Carlo method, together with the deep neural network, is used to overcome the curse of dimensionality, while classical methods fail. Often, a deep neural network outperforms classical numerical methods in terms of both accuracy and efficiency. In this paper, we propose to use quasi-Monte Carlo sampling, instead of Monte-Carlo method to approximate the loss function. To demonstrate the idea, we conduct numerical experiments in the framework of deep Ritz method proposed by Weinan E and Bing Yu. For the same accuracy requirement, it is observed that quasi-Monte Carlo sampling reduces the size of training data set by more than two orders of magnitude compared to that of MC method. Under some assumptions, we prove that quasi-Monte Carlo sampling together with the deep neural network generates a convergent series with rate proportional to the approximation accuracy of quasi-Monte Carlo method for numerical integration. Numerically the fitted convergence rate is a bit smaller, but the proposed approach always outperforms Monte Carlo method. It is worth mentioning that the convergence analysis is generic whenever a loss function is approximated by the quasi-Monte Carlo method, although observations here are based on deep Ritz method.

研究动机与目标

• 解决使用深度神经网络求解高维PDE时面临的维度灾难问题。
• 克服蒙特卡洛采样在机器学习PDE求解器中近似高维积分时的低效性。
• 证明拟蒙特卡洛（QMC）采样可显著减少训练数据规模，同时保持或提升精度。
• 在强凸性假设下，为基于QMC的深度学习求解器提供理论收敛性分析。
• 建立一个通用框架，可扩展至深度Ritz方法之外的其他方法，如深度Galerkin方法。

提出的方法

• 用拟蒙特卡洛（QMC）采样替代标准蒙特卡洛采样，以近似高维区域中损失函数的积分。
• 使用低差异序列（如Sobol’序列）替代独立同分布的随机样本，以降低积分误差。
• 将QMC采样集成到深度Ritz方法中，其中损失函数为PDE的变分形式。
• 采用固定步长的随机梯度下降（SGD）来优化深度神经网络参数。
• 通过包含期望误差与采样误差项 $ r(N) $ 的递推不等式分析收敛性，其中 $ r(N) $ 量化了QMC积分误差。
• 推导出理论界，表明期望误差随迭代次数线性衰减，且与QMC误差率 $ r(N) $ 成正比。

实验结果

研究问题

• RQ1 拟蒙特卡洛采样能否显著减少深度学习PDE求解器在达到给定精度时所需的训练数据规模？
• RQ2 在相同条件下，基于QMC的深度神经网络求解器的收敛速率与蒙特卡洛方法相比如何？
• RQ3 当使用QMC采样近似损失函数时，深度学习PDE求解器的理论收敛行为如何？
• RQ4 尽管理论假设基于强凸性，当损失函数非凸时，QMC相比MC的性能优势是否依然存在？
• RQ5 所提出的基于QMC的方法在多大程度上可推广至深度Ritz方法之外的其他机器学习PDE求解器？

主要发现

• 在相同精度要求下，与蒙特卡洛采样相比，拟蒙特卡洛采样将所需训练数据规模降低了两个多数量级。
• 数值实验表明，QMC方法的收敛速率略低于理论边界，但其在精度和效率方面始终优于蒙特卡洛方法。
• 理论分析证明，在强凸性假设下，深度神经网络解的期望误差随迭代次数线性收敛，且与QMC积分误差率 $ r(N) $ 成正比。
• 当损失函数为强凸函数时，期望误差收敛至 $ \frac{\alpha L C_V}{2c\mu} r(N) $，当 $ N \to \infty $ 时趋于零，表明收敛性成立。
• 即使在非凸条件下，QMC采样在实践中仍优于MC，表明其性能具有超出理论假设的鲁棒性。
• 所提出的方法具有通用性，可适用于其他机器学习PDE求解器（如深度Galerkin方法），只要高维积分通过采样近似即可。