[论文解读] Solving Probability and Statistics Problems by Program Synthesis

Leonard Tang, Elizabeth Ke+3 more|arXiv (Cornell University)|Nov 16, 2021

Software Engineering Research参考文献 14被引用 5

一句话总结

本文提出了一种新颖的方法，通过将本科水平的概率与统计问题转化为使用OpenAI的Codex进行程序合成的编程任务，来解决这些问题。通过采用概念对齐提示（concept-grounded prompting）和概率模拟，该方法在包含40个大学水平问题的新数据集上实现了高准确率，表明大型语言模型能够有效生成正确概率代码，用于复杂统计推理任务。

ABSTRACT

We solve university level probability and statistics questions by program synthesis using OpenAI's Codex, a Transformer trained on text and fine-tuned on code. We transform course problems from MIT's 18.05 Introduction to Probability and Statistics and Harvard's STAT110 Probability into programming tasks. We then execute the generated code to get a solution. Since these course questions are grounded in probability, we often aim to have Codex generate probabilistic programs that simulate a large number of probabilistic dependencies to compute its solution. Our approach requires prompt engineering to transform the question from its original form to an explicit, tractable form that results in a correct program and solution. To estimate the amount of work needed to translate an original question into its tractable form, we measure the similarity between original and transformed questions. Our work is the first to introduce a new dataset of university-level probability and statistics problems and solve these problems in a scalable fashion using the program synthesis capabilities of large language models.

研究动机与目标

• 解决标准基础模型难以应对的复杂、大学水平的概率与统计问题自动化求解挑战。
• 开发一种可扩展的、基于模拟的程序合成方法，用于解决建立在概率依赖关系之上的问题。
• 首次引入一个包含40个来自MIT和Harvard课程的本科水平概率与统计问题的数据集，用于基准测试。
• 评估提示工程（尤其是概念对齐提示）在实现概率推理任务中准确生成程序方面的有效性。
• 证明大型语言模型在正确提示下能够生成正确的概率模拟代码，从而获得准确的数值解。

提出的方法

• 将原始的概率与统计问题转化为明确的编程任务，要求对大量概率场景进行模拟。
• 使用OpenAI的Codex（在代码上微调的Transformer模型）从这些编程任务中生成概率程序。
• 通过在提示中直接嵌入相关概率概念（例如贝叶斯定理、条件期望）来应用概念对齐提示，以提高代码准确性。
• 执行生成的代码，通过蒙特卡洛模拟计算概率或期望的实证估计值。
• 通过将合成代码的执行结果与真实答案进行比较来衡量成功程度。
• 在两个精选数据集上评估性能：MIT 18.05课程的20个应用问题，以及Harvard STAT110和Brainstellar的20个概念性问题。

实验结果

研究问题

• RQ1 能否通过类似Codex的大型语言模型进行程序合成，有效解决复杂、大学水平的概率与统计问题？
• RQ2 概念对齐提示在提高概率推理任务中程序生成准确率方面的有效性如何？
• RQ3 通过合成代码进行的概率模拟，在本科水平的概率问题中，能在多大程度上近似精确的解析解？
• RQ4 提示工程对生成程序在统计问题中的可靠性与正确性有何影响？
• RQ5 一个新创建的、精选的本科水平概率问题数据集，能否作为评估程序合成在数学推理中表现的有意义基准？

主要发现

• 该方法在MIT 18.05课程的20个应用概率问题上实现了100%的成功率，所有生成的程序均输出了正确的数值解。
• 在Harvard STAT110和Brainstellar的20个概念性问题上，该方法实现了95%的成功率，20个测试中仅有1个解错误。
• 所有问题的平均执行结果与真实答案的偏差在0.01以内，表明具有很高的数值准确性。
• 使用概念对齐提示显著提高了代码的正确性，尤其是在涉及条件概率和贝叶斯定理的问题中。
• 该方法成功解决了圣彼得堡悖论问题，生成的模拟正确估计了期望回报约为50。
• 本文引入了一个公开可用的40个大学水平概率与统计问题的新数据集，填补了现有基准仅关注小学水平数学的空白。