[论文解读] Neural Attribute Machines for Program Generation

Matthew Amodio, Swarat Chaudhuri+1 more|arXiv (Cornell University)|May 25, 2017

Machine Learning and Algorithms参考文献 44被引用 21

一句话总结

Neural Attribute Machines (NAMs) 将属性语法与循环神经网络相结合，生成严格遵守类型安全性和变量作用域等结构约束的程序。通过在输入中加入来自逻辑机器的上下文信息，并优化三值损失函数，与仅在有效样本上训练的标准 RNN 相比，NAMs 在生成过程中显著减少了语法违规。

ABSTRACT

Recurrent neural networks have achieved remarkable success at generating sequences with complex structures, thanks to advances that include richer embeddings of input and cures for vanishing gradients. Trained only on sequences from a known grammar, though, they can still struggle to learn rules and constraints of the grammar. Neural Attribute Machines (NAMs) are equipped with a logical machine that represents the underlying grammar, which is used to teach the constraints to the neural machine by (i) augmenting the input sequence, and (ii) optimizing a custom loss function. Unlike traditional RNNs, NAMs are exposed to the grammar, as well as samples from the language of the grammar. During generation, NAMs make significantly fewer violations of the constraints of the underlying grammar than RNNs trained only on samples from the language of the grammar.

研究动机与目标

• 解决训练神经序列模型以生成满足复杂正式约束（如类型安全性与变量作用域）的程序的挑战。
• 克服标准 RNN 的局限性，即尽管仅在有效程序上进行训练，仍经常违反语法规则。
• 通过属性语法，将编程语言约束的显式背景知识整合到神经生成过程中。
• 开发一种训练框架，利用三值损失函数区分正确、合法错误（在约束下有效）和非法预测。
• 证明在程序生成中引入形式语法规则可提高泛化能力并减少约束违规。

提出的方法

• NAMs 将循环神经网络（RNN）与一个逻辑机器结合，该机器在程序语法树上维护并评估属性语法规则。
• 输入序列通过从属性语法中提取的固定长度上下文向量进行增强，以表示当前生成步骤相关的结构约束。
• 使用三值损失函数，根据预测结果是正确、合法错误（在约束下有效）还是非法（违反约束），施加不同的惩罚。
• 属性语法被指定为 L-属性系统，其中综合属性与继承属性在树构建过程中强制执行类型与作用域规则。
• RNN 被训练以生成抽象语法树（AST）的节点，而逻辑机器确保在每一步仅选择有效且符合约束的生成规则。
• 该框架支持端到端训练，其中神经组件学习在输入数据和约束上下文的共同条件下生成序列。

实验结果

研究问题

• RQ1 是否可以训练神经序列模型，使其生成满足复杂结构约束（如类型安全性与变量作用域）的程序？
• RQ2 与标准 RNN 相比，通过属性语法显式引入语法约束在多大程度上改善了泛化能力并减少了约束违规？
• RQ3 一种能区分正确、合法错误与非法预测的三值损失函数，在多大程度上提升了训练稳定性和输出质量？
• RQ4 在受限程序生成任务中，混合神经-逻辑架构是否优于纯神经模型？
• RQ5 NAM 框架是否可扩展至程序合成以外的其他结构化序列生成任务？

主要发现

• 与仅在相同数据集上训练的标准 RNN 相比，NAMs 在程序生成过程中显著减少了语法违规数量，即使 RNN 仅在有效程序上进行训练。
• 三值损失函数通过区分错误类型，实现了更优的学习动态，从而提升了泛化能力并减少了非法输出。
• 将属性语法上下文整合到输入序列中，提升了模型处理罕见或新颖结构模式的能力，且不易过拟合。
• 尽管仅在有效程序上进行训练，普通 RNN 仍会产生数量可观的非法程序，表明仅依赖数据的训练不足以强制执行复杂约束。
• NAM 框架在未见测试用例上泛化良好，尤其在类型一致性等复杂约束场景下，标准模型（如 SGWC）因上下文可变性而表现不佳，而 NAM 表现更优。