[论文解读] Neural Program Search: Solving Programming Tasks from Description and Examples

Illia Polosukhin, Alexander Skidanov|arXiv (Cornell University)|Feb 12, 2018

Software Engineering Research参考文献 19被引用 20

一句话总结

本文提出神经程序搜索（Neural Program Search），一种结合Seq2Tree神经模型与引导式树搜索的方法，能够从自然语言描述和输入/输出示例中生成正确程序。该方法在半合成数据集上实现了85.8%的测试准确率，显著优于纯序列到序列模型和仅使用示例的基线模型，其优势源于结构化程序解码与基于LISP风格领域特定语言（DSL）的类型约束搜索。

ABSTRACT

We present a Neural Program Search, an algorithm to generate programs from natural language description and a small number of input/output examples. The algorithm combines methods from Deep Learning and Program Synthesis fields by designing rich domain-specific language (DSL) and defining efficient search algorithm guided by a Seq2Tree model on it. To evaluate the quality of the approach we also present a semi-synthetic dataset of descriptions with test examples and corresponding programs. We show that our algorithm significantly outperforms a sequence-to-sequence model with attention baseline.

研究动机与目标

• 解决从模糊的自然语言描述和稀疏的输入/输出示例中进行程序合成的挑战，此类问题限制了现有方法的可扩展性。
• 通过结合神经理解与符号搜索，克服纯序列到序列模型和仅使用示例方法的局限性。
• 设计一种领域特定语言（DSL），其表达能力足以应对常见编程任务，同时保持简洁与可处理性，以支持高效搜索。
• 通过整合神经序列到树解码与基于学习概率的束搜索，提升程序合成中的泛化能力与准确率。
• 在新构建的半合成数据集AlgoLISP上评估该方法，以基准测试其在数据转换类问题上的性能。

提出的方法

• 设计一种受LISP启发的领域特定语言（DSL），配备静态类型系统，将程序表示为抽象语法树（AST），从而实现高效且精确的程序生成。
• 训练一个带有注意力机制的Seq2Tree模型，编码自然语言描述并逐符号解码程序语法树，预测最可能的AST节点。
• 应用树束搜索以探索最可能的程序候选，其路径由Seq2Tree模型输出的概率引导，同时仅保留满足给定输入/输出示例的程序。
• 采用混合搜索策略：神经模型对潜在程序进行排序，搜索阶段通过测试用例验证正确性，确保语法与语义一致性。
• 引入一个半合成数据集AlgoLISP，包含问题描述、对应的DSL程序及测试用例，用于模型的训练与评估。
• 实现一种搜索算法，支持对已访问程序数量（MAX_VISITED）的可配置限制，便于分析搜索效率与模型质量。

实验结果

研究问题

• RQ1 将神经序列到树生成与DSL上的引导式搜索相结合，是否能显著提升程序合成的准确率，超越端到端的序列到序列模型？
• RQ2 带有类型约束的LISP风格DSL在实现常见编程任务的紧凑、高效且准确的程序搜索方面，效果如何？
• RQ3 在结合自然语言描述时，引入输入/输出示例在多大程度上提升了程序合成的性能？
• RQ4 模型性能随搜索过程中探索的程序数量增加而如何变化？这揭示了神经模型预测质量的哪些信息？
• RQ5 程序复杂度（以AST深度衡量）如何影响模型恢复正确程序的能力？

主要发现

• Seq2Tree模型结合引导式搜索在AlgoLISP数据集上实现了85.8%的测试准确率，显著优于带有注意力机制的基线序列到序列模型（54.1%准确率）。
• Seq2Tree与搜索的结合使错误率较次优基线IO2Seq降低了超过20个百分点，后者在使用搜索时仅达到12.8%的准确率。
• 仅使用Seq2Tree模型相比序列到序列基线，准确率提升了11%，证明了结构化树解码相较于平坦序列生成的优势。
• 随着已访问程序数量增加（MAX_VISITED提高），搜索性能持续提升，但Seq2Tree+Search模型表现出快速收敛，表明神经预测质量高，能早期优先选择正确路径。
• 准确率随程序深度增加而下降，证实更复杂的程序更难合成，尽管模型在深度为5–7的程序上仍保持超过70%的准确率。
• 仅使用搜索的基线（无神经引导）准确率仅为0.6%，表明神经引导对有效探索程序空间至关重要。