[论文解读] Transformers Generalize to the Semantics of Logics

Christopher Hahn, Frederik Schmitt+3 more|arXiv (Cornell University)|Mar 6, 2020

Bayesian Modeling and Causal Inference参考文献 3被引用 4

一句话总结

该论文表明，Transformers 可以从不完美的训练数据中学习命题逻辑和线性时态逻辑（LTL）的语义含义，泛化到未见过的公式，甚至解决训练生成器未能处理的 LTL 公式。尽管其输出与生成器的特定输出存在偏差，模型仍通过学习底层逻辑语义而非训练数据中的表征特征，生成了正确的解。

ABSTRACT

We show that neural networks can learn the semantics of propositional and linear-time temporal logic (LTL) from imperfect training data. Instead of only predicting the truth value of a formula, we use a Transformer architecture to predict the solution for a given formula, e.g., a variable assignment for a formula in propositional logic. Most formulas have many solutions and the training data thus depends on the particularities of the generator. We make the surprising observation that while the Transformer does not perfectly predict the generator's output, it still produces correct solutions to almost all formulas, even when its prediction deviates from the generator. It appears that it is easier to learn the semantics of the logics than the particularities of the generator. We observe that the Transformer preserves this semantic generalization even when challenged with formulas of a size it has never encountered before. Surprisingly, the Transformer solves almost all LTL formulas in our test set including those for which our generator timed out.

研究动机与目标

• 探究神经网络是否能够从不完美的训练数据中学习命题逻辑和线性时态逻辑（LTL）的语义含义。
• 确定 Transformers 是否能够泛化到训练过程中未见过的更大规模公式。
• 评估在基于生成器特定输出训练的模型，是否仍能通过学习底层逻辑语义生成正确解。
• 评估神经模型在面对分布外公式时，语义泛化的鲁棒性。

提出的方法

• 训练 Transformer 模型以预测逻辑公式的解（例如，变量赋值），而不仅仅是真值。
• 使用由可能不完美或非确定性的生成器生成的公式及其解的数据集。
• 在训练过程中未见过的公式上评估模型，包括那些大于训练集中任何公式的公式。
• 在生成器超时的 LTL 公式上测试泛化能力，评估模型是否仍能找到有效解。
• 通过解的语义有效性而非与生成器输出的精确匹配来衡量预测的正确性。
• 分析模型在输出偏离生成器特定输出的情况下，仍保持解正确性的能力。

实验结果

研究问题

• RQ1 Transformers 是否能够从不完美的训练数据中学习命题逻辑和 LTL 公式的语义？
• RQ2 当生成器无法生成解时，模型是否仍能泛化到未见过规模的公式？
• RQ3 当模型输出与生成器的特定输出不同时，是否仍能生成正确解？
• RQ4 语义泛化在多大程度上优于对生成器特定模式的记忆？

主要发现

• 即使模型输出与生成器输出不同，Transformer 仍对几乎所有公式生成了正确解。
• 该模型能够泛化到训练过程中未见过的更大规模公式，展现出强大的分布外泛化能力。
• 该模型成功解决了生成器因超时而未能处理的 LTL 公式，表明其具备更优的推理能力。
• 该模型学习的是逻辑的底层语义，而非记忆生成器特定的解题模式。