[论文解读] The Use of Deep Learning for Symbolic Integration: A Review of (Lample and Charton, 2019)

Ernest Davis|arXiv (Cornell University)|Dec 12, 2019

Statistics Education and Methodologies参考文献 2被引用 14

一句话总结

本文回顾了 Lample 和 Charton（2019）提出的深度学习方法，该方法采用基于 Transformer 的序列到序列模型，用于求解具有初等函数解的符号不定积分及一阶、二阶常微分方程（ODE）。该模型在通过前向法、反向法及分部积分法生成的 8000 万个合成被积函数-原函数对上进行训练，其在特定测试集上的准确率达到 98.4%（束搜索大小为 1），优于 Mathematica 和 Maple，但仅在狭窄且有偏见的约束条件下成立，且缺乏对复杂化简或多元情形的真实理解与泛化能力。

ABSTRACT

Lample and Charton (2019) describe a system that uses deep learning technology to compute symbolic, indefinite integrals, and to find symbolic solutions to first- and second-order ordinary differential equations, when the solutions are elementary functions. They found that, over a particular test set, the system could find solutions more successfully than sophisticated packages for symbolic mathematics such as Mathematica run with a long time-out. This is an impressive accomplishment, as far as it goes. However, the system can handle only a quite limited subset of the problems that Mathematica deals with, and the test set has significant built-in biases. Therefore the claim that this outperforms Mathematica on symbolic integration needs to be very much qualified.

研究动机与目标

• 探究深度学习是否能有效求解具有初等函数解的符号积分与常微分方程（ODE）问题。
• 评估基于 Transformer 的模型在合成符号数据上训练后，与 Mathematica 和 Maple 等成熟符号数学系统相比的性能表现。
• 评估模型训练与测试数据中固有的局限性与偏差，特别是关于化简、变量处理及结构不变性方面的问题。
• 确定神经网络是否能在缺乏显式符号规则或化简能力的前提下实现可靠的符号推理。

提出的方法

• 该模型采用基于序列到序列的 Transformer 架构，在 8000 万个合成符号积分与常微分方程解对上进行训练。
• 训练数据通过三种方法生成：前向生成（使用现有积分器）、反向生成（对随机函数求导）以及分部积分法以扩展覆盖范围。
• 推理阶段采用束搜索（束搜索大小为 1、10、50）生成候选原函数，通过符号求导与化简验证其正确性。
• 正确性通过计算预测原函数的导数并检验其是否能化简为原始被积函数来验证。
• 该系统将符号积分视为机器翻译任务：输入为被积函数，输出为原函数。
• 该模型仅在反向生成的测试集上进行评估，这些测试集在结构上偏向特定表达形式与导数阶数。

实验结果

研究问题

• RQ1 深度学习模型是否能在符号积分任务上超越传统符号数学系统（如 Mathematica）？
• RQ2 在训练与测试中，不同数据生成方法（前向 vs. 反向 vs. 分部积分法）对模型性能有何影响？
• RQ3 模型性能在多大程度上依赖于输入表达式的结构不变性，例如导数中各项的排列顺序？
• RQ4 模型能否处理需要在积分前化简的被积函数，如涉及三角恒等式的表达式？
• RQ5 模型是否能泛化到涉及多个变量或超出整数 -5 到 5 范围的常数的积分问题？

主要发现

• 在反向生成的测试集上，该模型在束搜索大小为 1 时达到 98.4% 的准确率，优于 Mathematica（84% 准确率）及其他系统。
• 当仅使用前向生成数据训练并在反向生成数据上测试时，该模型在束搜索大小为 1 时的成功率降至 18.9%，表明存在强烈的数据分布偏差。
• 该模型在不同数据生成模式间无法泛化：当训练与测试数据来源不同时（如 FWD 与 BWD），性能显著下降。
• 该模型无法处理需要化简的被积函数，例如 ∫(sin²(e^{e^x}) + cos²(e^{e^x}))dx，该式可化简为 x + c，因其缺乏符号化简能力。
• 该模型对输入结构高度敏感：交换导数乘积中各项的顺序（如 f’(g(h(x)))g’(h(x))h’(x)）会显著降低性能，原因在于训练数据的偏差。
• 该模型常生成无效或语法错误的符号表达式，表明其对积分或数学语法规则缺乏概念性理解。