[论文解读] Solving Machine Learning Problems

Sunny Tran, Pranav Krishna+5 more|arXiv (Cornell University)|Jul 2, 2021

Topic Modeling参考文献 20被引用 5

一句话总结

该论文提出首个能够以96%准确率解决本科水平机器学习问题的机器学习系统，在开放性问题上准确率达96%，多项选择题准确率达97%，超过麻省理工学院学生平均分93%。该系统采用基于Transformer的编码器-解码器模型，结合表达式树与图结构表示，通过数据增强和提示生成技术，适用于科学、技术、工程和数学（STEM）教育场景。

ABSTRACT

Can a machine learn Machine Learning? This work trains a machine learning model to solve machine learning problems from a University undergraduate level course. We generate a new training set of questions and answers consisting of course exercises, homework, and quiz questions from MIT's 6.036 Introduction to Machine Learning course and train a machine learning model to answer these questions. Our system demonstrates an overall accuracy of 96% for open-response questions and 97% for multiple-choice questions, compared with MIT students' average of 93%, achieving grade A performance in the course, all in real-time. Questions cover all 12 topics taught in the course, excluding coding questions or questions with images. Topics include: (i) basic machine learning principles; (ii) perceptrons; (iii) feature extraction and selection; (iv) logistic regression; (v) regression; (vi) neural networks; (vii) advanced neural networks; (viii) convolutional neural networks; (ix) recurrent neural networks; (x) state machines and MDPs; (xi) reinforcement learning; and (xii) decision trees. Our system uses Transformer models within an encoder-decoder architecture with graph and tree representations. An important aspect of our approach is a data-augmentation scheme for generating new example problems. We also train a machine learning model to generate problem hints. Thus, our system automatically generates new questions across topics, answers both open-response questions and multiple-choice questions, classifies problems, and generates problem hints, pushing the envelope of AI for STEM education.

研究动机与目标

• 开发一种能够从麻省理工学院6.036课程中解决真实大学水平机器学习问题的机器学习系统。
• 在机器学习问答任务中超越人类表现，实现A等水平的准确率。
• 实现提示与新问题的自动化生成，以支持科学、技术、工程和数学（STEM）教育。
• 解决纯Transformer模型在解决基于数学的STEM问题（尤其是线性代数与微积分）时的局限性。
• 探索通过使用机器学习技术训练模型来学习“学会学习”的可行性。

提出的方法

• 采用基于Transformer的编码器-解码器架构，结合图结构与树结构表示，以建模数学表达式与问题结构。
• 通过模板化与改写技术进行数据增强，生成多样化的训练样本，尤其适用于递归与复杂问题。
• 使用表达式树表示解法，以提升对数值与符号运算的推理能力。
• 应用解法排序机制，以提高开放性问题回答中的置信度与准确率。
• 训练一个独立模型用于生成具有教学价值的提示，增强可解释性与学习支持。
• 每项实验对模型进行四次微调，以应对随机性影响，并报告平均性能。

实验结果

研究问题

• RQ1 机器学习模型能否以高准确率解决完整大学水平课程中的机器学习问题？
• RQ2 数据增强技术能否提升模型在多样化机器学习主题（包括递归与符号问题）上的泛化能力？
• RQ3 在标准机器学习课程评估中，基于问答对训练的模型能否超越人类学生的表现？
• RQ4 机器学习模型能否生成有助于学生学习与可解释性的有意义提示？
• RQ5 在基于数学的STEM问题上，采用符号表示的Transformer模型在多大程度上优于标准模型？

主要发现

• 该系统在开放性问题上达到96%的准确率，在多项选择题上达到97%的准确率，超过麻省理工学院学生平均分93%。
• 模型在基础概念、感知机、循环神经网络与决策树等主题上实现100%的准确率。
• 当数据增强数量减少时，性能显著下降——每道问题仅使用25个增强样本时，平均准确率降至33%。
• 通过数据增强，模型成功学习了递归问题结构，在循环神经网络问题上实现100%准确率。
• 提示生成已集成至处理流程，实现了对学习者的自动化、可解释性支持。
• 模型在编程题与图像题上表现失败，表明其在多模态与代码生成能力方面仍存在当前局限。