[论文解读] Neural Arithmetic Expression Calculator

Kaiyu Chen, Yihan Dong+2 more|arXiv (Cornell University)|Sep 23, 2018

Reinforcement Learning in Robotics参考文献 20被引用 8

一句话总结

本论文提出了一种基于多级层次强化学习（MHRL）与交互式技能模块（ISMs）的纯神经网络模型，用于端到端的算术表达式计算。该模型通过课程教师与持续学习学生（CTCS）框架进行训练，能够在长度为10的表达式计算任务中达到100%的准确率，显著优于先前的模型（如Neural GPU和LSTM）。

ABSTRACT

This paper presents a pure neural solver for arithmetic expression calculation (AEC) problem. Previous work utilizes the powerful capabilities of deep neural networks and attempts to build an end-to-end model to solve this problem. However, most of these methods can only deal with the additive operations. It is still a challenging problem to solve the complex expression calculation problem, which includes the adding, subtracting, multiplying, dividing and bracketing operations. In this work, we regard the arithmetic expression calculation as a hierarchical reinforcement learning problem. An arithmetic operation is decomposed into a series of sub-tasks, and each sub-task is dealt with by a skill module. The skill module could be a basic module performing elementary operations, or interactive module performing complex operations by invoking other skill models. With curriculum learning, our model can deal with a complex arithmetic expression calculation with the deep hierarchical structure of skill models. Experiments show that our model significantly outperforms the previous models for arithmetic expression calculation.

研究动机与目标

• 开发一种纯神经网络端到端求解器，用于处理包含+、−、×、÷和括号的算术表达式计算。
• 解决先前模型在简单加法或二元运算之外难以泛化的局限性。
• 通过结构化学习，利用算术运算的层次化与可重用特性。
• 通过课程学习与持续学习框架，实现对复杂表达式的泛化能力。

提出的方法

• 将算术表达式计算问题建模为多级层次强化学习（MHRL）问题，其中技能模块作为子任务策略。
• 引入交互式技能模块（ISMs），可通过发送部分表达式并接收答案，选择性地调用其他技能模块。
• 采用课程教师与持续学习学生（CTCS）框架，按难度递增顺序训练技能模块。
• 使用难度采样与参数调整策略，引导学生模型在训练过程中趋向最优策略。
• 采用近端策略优化（PPO）结合Adam优化器，使用基于GRU的RNN进行策略学习。
• 将输入与输出视为字符序列，实现无需符号操作的端到端学习。

实验结果

研究问题

• RQ1 纯神经网络模型能否在包含乘法、除法与嵌套表达式的多样化算术运算中实现泛化？
• RQ2 具有可重用技能模块的层次强化学习在解决复杂算术任务方面的有效性如何？
• RQ3 结合难度采样与参数调整的课程学习是否能提升学习效率与泛化能力？
• RQ4 通过持续学习利用已有知识，模型能否掌握新操作（如模运算）？
• RQ5 在长算术表达式上，与Neural GPU和LSTM等现有模型相比，所提模型在准确率与泛化能力方面表现如何？

主要发现

• 所提模型在测试集中长度为10的算术表达式计算任务中达到100%准确率，显著优于基线模型。
• 在表达式计算任务中，模型在长度5和10时保持100%准确率，在长度20时达到78%准确率，展现出强大的泛化能力。
• 基线模型如LSTM与Neural GPU在长度超过5的测试集中准确率接近零，表明其泛化能力差。
• 消融实验证实，课程学习与持续学习至关重要；若无此机制，模型无法解决新任务（如模运算）。
• 难度采样与参数调整对于避免次优收敛至关重要；若缺失，即使在复杂任务结构下性能仍表现欠佳。
• 模型成功掌握所有运算，包括除法（因可猜测性达20%准确率），并在所有测试算术运算符上保持高性能。