[论文解读] Neurosymbolic Repair for Low-Code Formula Languages

Rohan Bavishi, Harshit Joshi+6 more|arXiv (Cornell University)|Jul 24, 2022

Software Engineering Research被引用 5

一句话总结

LaMirage 是一种神经符号框架，结合符号修复生成与神经错误定位和排序，用于修复 Excel 和 PowerFx 等低代码公式语言中的语法和语义错误。它通过利用语法和领域约束，高效生成正确修复，在 400 个真实公式上优于最先进符号和神经基线方法。

ABSTRACT

Most users of low-code platforms, such as Excel and PowerApps, write programs in domain-specific formula languages to carry out nontrivial tasks. Often users can write most of the program they want, but introduce small mistakes that yield broken formulas. These mistakes, which can be both syntactic and semantic, are hard for low-code users to identify and fix, even though they can be resolved with just a few edits. We formalize the problem of producing such edits as the last-mile repair problem. To address this problem, we developed LaMirage, a LAst-MIle RepAir-engine GEnerator that combines symbolic and neural techniques to perform last-mile repair in low-code formula languages. LaMirage takes a grammar and a set of domain-specific constraints/rules, which jointly approximate the target language, and uses these to generate a repair engine that can fix formulas in that language. To tackle the challenges of localizing the errors and ranking the candidate repairs, LaMirage leverages neural techniques, whereas it relies on symbolic methods to generate candidate repairs. This combination allows LaMirage to find repairs that satisfy the provided grammar and constraints, and then pick the most natural repair. We compare LaMirage to state-of-the-art neural and symbolic approaches on 400 real Excel and PowerFx formulas, where LaMirage outperforms all baselines. We release these benchmarks to encourage subsequent work in low-code domains.

研究动机与目标

• 解决低代码平台中的‘最后一公里修复’问题，即用户在 Excel 和 PowerApps 等公式语言中出现的小型、难以检测的错误。
• 通过提供准确、上下文感知的修复建议，改善用户体验，以应对通常报告不清晰的语法和语义错误。
• 开发一种可适应多种低代码公式语言的修复引擎生成器，利用语法和领域特定约束。
• 通过提供类似传统程序员所获得的反馈，弥合低代码开发者在工具支持方面的差距。

提出的方法

• LaMirage 使用由形式文法和领域约束引导的符号框架，生成在语法和语义上均有效的候选修复。
• 它采用神经局部定位器识别错误公式中最可能的错误位置，使用一种融合符号追踪与神经预测的回退策略。
• 神经排序器使用平衡的、基于迭代分类的训练目标评估候选修复，以预测最自然的修复，从而克服标记序列偏斜带来的问题。
• 该系统将神经组件（用于错误定位和修复排序）集成到符号修复生成流程中，确保正确性和效率。
• 它基于帮助论坛数据和产品遥测数据进行训练，使用小型、高效的模型，专为低代码领域定制。
• 该框架设计为修复引擎生成器，支持在多种低代码平台中部署，且仅需极少重新配置。

实验结果

研究问题

• RQ1 神经符号方法能否以高准确率和低计算成本有效定位和排序低代码公式错误的修复？
• RQ2 将符号修复生成与神经错误定位和排序相结合，相较于纯符号或纯神经方法，能否显著提升修复质量？
• RQ3 在训练数据存在偏斜且不可靠的情况下，哪些训练策略对低代码修复中的神经组件有效？
• RQ4 在利用语法和约束的前提下，该框架在多大程度上可泛化到不同的低代码公式语言？
• RQ5 符号与神经组件之间的回退策略如何影响搜索空间大小和修复覆盖率？

主要发现

• LaMirage 在 400 个真实 Excel 和 PowerFx 公式上优于最先进符号和神经基线，展现出更优的修复准确率。
• 使用平衡的训练目标和基于分类的损失函数训练神经排序器，相比标准因果语言建模，显著提升了修复排序性能。
• 回退策略（仅在符号追踪失败时使用神经定位）在保持可管理搜索空间的同时，提升了修复覆盖率。
• 该框架使用小型高效神经模型即实现了高效率，使其在生产级低代码平台中具备实际部署可行性。
• 消融实验证实，神经局部定位器和排序器均对整体性能有显著贡献，而符号核心确保了正确性。
• 作者发布了两个真实故障公式及其正确修复的基准数据集，为未来低代码修复研究提供了支持。