[论文解读] Selecting Representative Examples for Program Synthesis

Yewen Pu, Zachery Miranda+2 more|arXiv (Cornell University)|Nov 9, 2017

Software Engineering Research被引用 14

一句话总结

该论文提出了一种贪心的、由神经网络引导的方法，用于为程序综合选择少量具有代表性的输入-输出示例，从而提升可扩展性和稳定性。通过迭代地添加在当前示例子集条件下概率最低（最出人意料）的示例，该方法在保持正确性的同时减少了约束求解器的开销，在程序化绘图和自动机归纳任务中，其合成时间与方差表现优于基线方法。

ABSTRACT

Program synthesis is a class of regression problems where one seeks a solution, in the form of a source-code program, mapping the inputs to their corresponding outputs exactly. Due to its precise and combinatorial nature, program synthesis is commonly formulated as a constraint satisfaction problem, where input-output examples are encoded as constraints and solved with a constraint solver. A key challenge of this formulation is scalability: while constraint solvers work well with a few well-chosen examples, a large set of examples can incur significant overhead in both time and memory. We describe a method to discover a subset of examples that is both small and representative: the subset is constructed iteratively, using a neural network to predict the probability of unchosen examples conditioned on the chosen examples in the subset, and greedily adding the least probable example. We empirically evaluate the representativeness of the subsets constructed by our method, and demonstrate such subsets can significantly improve synthesis time and stability.

研究动机与目标

• 为解决因大量输入-输出示例导致的程序综合可扩展性挑战。
• 减少编码和求解大规模约束满足问题（CSP）的计算开销。
• 通过选择最小但具有代表性的示例子集，提升合成的稳定性和速度。
• 提供一种方法，通过选择能最大程度剪枝搜索空间的示例，超越CEGIS和随机采样。
• 通过聚焦于语义上具有约束力的示例，实现在大规模数据集上的高效程序综合。

提出的方法

• 该方法使用预训练的神经网络，估计在当前已选示例子集条件下，未选示例的条件概率。
• 它贪心地选择预测概率最低（最出人意料）的示例加入子集，因为其预计能最有效地约束搜索空间。
• 该算法迭代扩展子集，直到所有示例的条件概率均足够高，表明它们已被当前子集充分解释。
• 神经网络在捕捉输入-输出对之间局部空间关系的邻域函数上进行训练，尤其在图像渲染和自动机归纳等场景中表现优异。
• 该方法作为约束求解器运行前的预处理步骤，可在许多情况下替代迭代的CEGIS优化。
• 该方法在两个领域进行了评估：自动机归纳和程序化绘图合成，并与完整集、CEGIS和随机采样基线进行了比较。

实验结果

研究问题

• RQ1 神经网络能否有效识别出对约束程序综合搜索空间最具信息量的输入-输出示例？
• RQ2 与使用全部示例或随机子集相比，选择少量代表性示例子集是否能提升合成时间和稳定性？
• RQ3 与CEGIS及其变体相比，该方法在求解时间与方差方面的表现如何？
• RQ4 在保持正确程序合成的前提下，该方法能在多大程度上减少所需示例的数量？
• RQ5 该方法在不同领域（如图像渲染和自动机归纳）中是否具有鲁棒性？

主要发现

• 与完整示例集和随机采样相比，该方法显著减少了平均合成时间，在程序化绘图合成任务中实现了最佳平均性能。
• 该方法在求解时间方差上与完整集和基于启发式的h1+cegis方法相当，表明其具有高度的稳定性。
• 平均而言，该方法选择的示例少于总数的20%，同时保持了高代表性，在时间和稳定性方面均优于任意大小的随机子集。
• CEGIS在绘图领域表现良好，是由于其与边界检测反例的偶然对齐，但这种特性不具备泛化性；而该方法避免了此类依赖。
• 神经网络的条件概率预测能有效识别出最具约束力的示例，从而实现对搜索空间的高效剪枝。
• 该方法在不同领域间展现出强大的泛化能力，在时间和方差指标上均持续优于强基线方法。