[论文解读] SymbolicGPT: A Generative Transformer Model for Symbolic Regression

Mojtaba Valipour, Bowen You+2 more|arXiv (Cornell University)|Jun 27, 2021

Evolutionary Algorithms and Applications参考文献 20被引用 37

一句话总结

SymbolicGPT 将符号回归视为语言生成任务，使用点云的顺序不变 T-net 嵌入和基于 GPT 的骨架生成器来生成符号表达式，常数通过事后优化填充。

ABSTRACT

Symbolic regression is the task of identifying a mathematical expression that best fits a provided dataset of input and output values. Due to the richness of the space of mathematical expressions, symbolic regression is generally a challenging problem. While conventional approaches based on genetic evolution algorithms have been used for decades, deep learning-based methods are relatively new and an active research area. In this work, we present SymbolicGPT, a novel transformer-based language model for symbolic regression. This model exploits the advantages of probabilistic language models like GPT, including strength in performance and flexibility. Through comprehensive experiments, we show that our model performs strongly compared to competing models with respect to the accuracy, running time, and data efficiency.

研究动机与目标

• 将符号回归动机化为一个语言建模问题，以提高可扩展性和速度。
• 开发一种顺序不变的数据嵌入，以处理可变大小、多变量输入。
• 训练基于 GPT 的模型以生成描述数据集的符号方程骨架。
• 将常数优化与骨架生成分离以提高效率。
• 展示数据高效性和相较传统符号回归方法更快的推断速度。

提出的方法

• 通过带有受控深度和常数的解析树模板生成大量多样化的训练方程。
• 使用带全局最大池化的 T-net 生成输入数据集的顺序不变嵌入。
• 使用 GPT 语言模型从数据集嵌入和初始标记序列生成骨架方程。
• 在骨架生成期间对常数进行掩码，并将常数推迟到后处理优化步骤（BFGS）中。
• 学习常数以装饰骨架并获得最终的符号表达式。
• 使用归一化均方误差来评估预测输出与真实输出的比较。

实验结果

研究问题

• RQ1 是否可以将符号回归有效地框架为一个使用顺序不变数据嵌入的语言建模任务？
• RQ2 结合离线训练的基于 GPT 的骨架生成器是否能在不同输入维度下产出更快、更准确的符号表达式？
• RQ3 在准确性和速度方面，SymbolicGPT 相较于传统方法（GP、GP Max、DSR、MLP）的表现如何？
• RQ4 一次性训练的模型在不同数量输入变量的回归任务中的数据效率和可扩展性如何？
• RQ5 事后常数优化在从骨架生成的表达式得到准确的最终表达式方面有多有效？

主要发现

实验	GP	GP Max	DSR	SymbolicGPT
General	48.0 \pm 26.7	84.8 \pm 25.8	78.8 \pm 42.8	5.0 \pm 12.0
One variable	44.6 \pm 33.0	82.1 \pm 32.1	15.1 \pm 2.1	1.1 \pm 0.9
Two variables	47.3 \pm 29.4	100.8 \pm 31.9	76.7 \pm 39.8	3.5 \pm 9.0
Three variables	60.0 \pm 32.9	109.5 \pm 32.4	73.3 \pm 56.4	10.3 \pm 26.2

• 在他们的实验中，SymbolicGPT 在测试用例上比 GP、GP Max、DSR 和 MLP 具有更高的准确性。
• SymbolicGPT 提供显著的加速，对于解决一个符号回归实例，通常快一个数量级。
• 随着输入变量数量增加，SymbolicGPT 仍保持强劲表现，在一到五变量上显示出鲁棒性。
• 随着数据点增多，模型表现提升，但在给定数据集规模下，SymbolicGPT 一直呈现低于其他方法的误差。
• 一次性离线训练使每个新回归实例的推断速度更快。
• 常数在事后得到有效优化，而骨架生成则处理方程的结构形式。