[论文解读] POWERPLAY: Training an Increasingly General Problem Solver by Continually Searching for the Simplest Still Unsolvable Problem

Jürgen Schmidhuber|arXiv (Cornell University)|Dec 22, 2011

Computability, Logic, AI Algorithms参考文献 39被引用 12

一句话总结

PowerPlay 提出了一种自监督框架，通过持续发明最简单的未解问题并更新求解器来解决它，采用时间和空间高效的程序搜索方法，实现对通用问题求解器的训练。该方法在技能压缩与新颖性探索之间取得平衡，实现了涌现的分层技能获取，并在不遗忘先前知识的前提下提升了泛化能力。

ABSTRACT

Most of computer science focuses on automatically solving given computational problems. I focus on automatically inventing or discovering problems in a way inspired by the playful behavior of animals and humans, to train a more and more general problem solver from scratch in an unsupervised fashion. Consider the infinite set of all computable descriptions of tasks with possibly computable solutions. The novel algorithmic framework POWERPLAY (2011) continually searches the space of possible pairs of new tasks and modifications of the current problem solver, until it finds a more powerful problem solver that provably solves all previously learned tasks plus the new one, while the unmodified predecessor does not. Wow-effects are achieved by continually making previously learned skills more efficient such that they require less time and space. New skills may (partially) re-use previously learned skills. POWERPLAY's search orders candidate pairs of tasks and solver modifications by their conditional computational (time & space) complexity, given the stored experience so far. The new task and its corresponding task-solving skill are those first found and validated. The computational costs of validating new tasks need not grow with task repertoire size. POWERPLAY's ongoing search for novelty keeps breaking the generalization abilities of its present solver. This is related to Goedel's sequence of increasingly powerful formal theories based on adding formerly unprovable statements to the axioms without affecting previously provable theorems. The continually increasing repertoire of problem solving procedures can be exploited by a parallel search for solutions to additional externally posed tasks. POWERPLAY may be viewed as a greedy but practical implementation of basic principles of creativity. A first experimental analysis can be found in separate papers [53,54].

研究动机与目标

• 开发一种实用的、无监督的框架，从零开始训练日益通用的问题求解器，受人类和动物游戏的启发。
• 解决持续学习中的挑战：系统必须在不退化性能的前提下保留先前技能并学习新技能。
• 平衡两种对立力量：通过奥卡姆剃刀原则压缩并改进现有技能，以及发明打破当前泛化能力的新任务（以推动创新）。
• 提供一种形式化、算法化的机制，保证向后兼容性——即不会遗忘先前解决的任务——同时实现问题求解能力的渐进增长。
• 探索自创任务如何驱动分层、可重用技能的涌现，并改善神经网络或符号架构中的泛化能力。

提出的方法

• PowerPlay 以贪心、时间最优的方式搜索可能的新任务及其对应求解器修改的组合空间，优先选择在先前经验条件下具有最低条件计算复杂度（时间与空间）的配对。
• 它使用证明搜索机制来验证正确性，确保修改后的求解器能够解决所有先前学习的任务和新任务，而原始求解器无法解决新任务。
• 该框架采用基于前缀码的问题求解器，以实现技能的高效表示与重用，支持分层学习与压缩。
• 它整合了压缩驱动机制，最小化解决方案的描述长度，与 MDL/MML 原则保持一致，以改善泛化能力。
• 系统动态调整其内部程序概率分布，优先选择能高效且紧凑地解决新任务的程序。
• 它支持确定性（如基于 OOPS 的）和随机/进化实现，可在不同问题求解器架构中灵活应用。

实验结果

研究问题

• RQ1 如何在无外部奖励或预定义任务的情况下，以自监督、无监督的方式训练通用问题求解器？
• RQ2 哪些机制可确保在持续学习和技能获取过程中保留先前学习的技能？
• RQ3 系统如何在压缩现有解决方案（提高效率）与发明新任务（打破泛化以驱动创新）之间实现权衡？
• RQ4 持续寻找最简单的未解问题在何种方式下能导致分层技能结构的涌现和泛化能力的提升？
• RQ5 PowerPlay 的方法与逻辑中的基础概念（如哥德尔的日益强大的形式系统序列）有何关联？

主要发现

• PowerPlay 通过要求修改后的求解器可证明地解决所有先前任务，而原始求解器无法解决新任务，从而确保不会遗忘先前学习的任务。
• 该框架通过优先选择紧凑、高效解决方案的贪心搜索，促成了分层、可重用技能的涌现，从而提升了泛化能力。
• 通过结合压缩驱动（偏好更短、更高效的程序）与新颖性驱动（发明新任务），PowerPlay 实现了动态平衡，防止停滞并促进持续改进。
• 实验结果表明，PowerPlay 导致学习过程中出现顺序发展的阶段，技能从简单到复杂演化，并在解决自创任务和外部任务时效率不断提高。
• 该系统的行为在形式上类似于哥德尔的日益强大的形式理论序列，其中不可证明的命题被添加为公理，以扩展逻辑能力而不使先前定理失效。
• 该框架对架构选择具有鲁棒性，支持基于最优有序问题求解器（OOPS）、循环神经网络以及进化或随机程序搜索的实现。