[论文解读] Teaching Temporal Logics to Neural Networks

Christopher Hahn, Frederik Schmitt+3 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques参考文献 68被引用 4

一句话总结

该论文提出端到端训练一个Transformer模型，以生成线性时序逻辑（LTL）公式的轨迹，使用经典求解器的解作为监督信号。尽管仅在部分解上进行训练，该模型仍能泛化至LTL的语义以及更大、未见过的公式，在超时公式的基准测试中达到83%的正确率，展现出强大的神经符号推理能力。

ABSTRACT

We study two fundamental questions in neuro-symbolic computing: can deep learning tackle challenging problems in logics end-to-end, and can neural networks learn the semantics of logics. In this work we focus on linear-time temporal logic (LTL), as it is widely used in verification. We train a Transformer on the problem to directly predict a solution, i.e. a trace, to a given LTL formula. The training data is generated with classical solvers, which, however, only provide one of many possible solutions to each formula. We demonstrate that it is sufficient to train on those particular solutions to formulas, and that Transformers can predict solutions even to formulas from benchmarks from the literature on which the classical solver timed out. Transformers also generalize to the semantics of the logics: while they often deviate from the solutions found by the classical solvers, they still predict correct solutions to most formulas.

研究动机与目标

• 探究深度学习是否能够直接解决形式化验证中的复杂逻辑问题，特别是LTL轨迹生成问题。
• 确定神经网络是否能够在没有显式符号监督的情况下学习时序逻辑的语义含义。
• 评估模型在更大公式和训练数据之外未见的逻辑模式上的泛化能力。
• 评估Transformer在可满足性判断和轨迹生成任务中是否能优于或补充经典求解器。

提出的方法

• 使用Transformer架构，根据给定的LTL公式预测一条轨迹（命题随时间的赋值）。
• 训练数据通过基于DPLL的求解器生成，每条公式仅提供一个有效解，而非所有可能的解。
• 采用树位置编码以在序列建模过程中保留逻辑结构，提升泛化能力。
• 在更大公式和不同公式类别（如CNF）上进行微调，以测试泛化性能。
• 测量语法准确率与语义准确率：与求解器输出的语法匹配度，以及在LTL语义下轨迹的正确性。
• 在经典求解器出现超时的测试集公式上进行评估，以检验其在实际应用中的可行性。

实验结果

研究问题

• RQ1 神经网络是否能够在仅依赖经典求解器提供的监督示例、而无需显式符号逻辑规则的情况下，学习生成正确的LTL轨迹？
• RQ2 即使其输出与求解器的具体解不同，模型是否仍能泛化至LTL的语义含义？
• RQ3 模型是否能泛化至训练过程中未见过的更大或更复杂的LTL公式，包括那些导致经典求解器超时的公式？
• RQ4 位置编码的选择如何影响模型在未见公式上的泛化能力和性能表现？
• RQ5 在实际验证工作负载中，该模型是否能够优于或补充经典求解器？

主要发现

• 在训练阶段的35个符号大小的公式上，模型实现了96.5%的语义准确率，表明其对LTL语义有很强的学习能力。
• 在经典求解器出现超时的测试集公式上，模型83%的时间正确生成了轨迹，展现出实际应用价值。
• 即使其输出与求解器的具体解不同，模型输出的正确率仍达96.5%，表明其具备稳健的语义泛化能力。
• 模型可泛化至50个符号大小的公式，在仅用35个符号大小公式进行训练的情况下，实现了86.1%的语义准确率。
• 树位置编码显著提升了泛化能力，使较大公式的语法准确率从29.0%提升至35.8%。
• 模型可泛化至CNF公式，在250个变量的CNF基准测试中实现了65.1%的语义准确率，表明其具备超越LTL的迁移能力。