[论文解读] One Big Net For Everything

Juergen Schmidhuber|arXiv (Cornell University)|Feb 24, 2018

Computability, Logic, AI Algorithms参考文献 57被引用 7

一句话总结

本文提出 ONE，一个单一的循环神经网络，通过结合强化学习与基于梯度的监督/无监督训练，逐步学习多样化的控制与预测技能。通过压缩过往经验并重用共享子程序，ONE 避免了灾难性遗忘，并日益具备通用性，从而通过高效的权重更新和 PowerPlay 风格的任务排序，实现对新、算法相关任务的快速学习。

ABSTRACT

I apply recent work on "learning to think" (2015) and on PowerPlay (2011) to the incremental training of an increasingly general problem solver, continually learning to solve new tasks without forgetting previous skills. The problem solver is a single recurrent neural network (or similar general purpose computer) called ONE. ONE is unusual in the sense that it is trained in various ways, e.g., by black box optimization / reinforcement learning / artificial evolution as well as supervised / unsupervised learning. For example, ONE may learn through neuroevolution to control a robot through environment-changing actions, and learn through unsupervised gradient descent to predict future inputs and vector-valued reward signals as suggested in 1990. User-given tasks can be defined through extra goal-defining input patterns, also proposed in 1990. Suppose ONE has already learned many skills. Now a copy of ONE can be re-trained to learn a new skill, e.g., through neuroevolution without a teacher. Here it may profit from re-using previously learned subroutines, but it may also forget previous skills. Then ONE is retrained in PowerPlay style (2011) on stored input/output traces of (a) ONE's copy executing the new skill and (b) previous instances of ONE whose skills are still considered worth memorizing. Simultaneously, ONE is retrained on old traces (even those of unsuccessful trials) to become a better predictor, without additional expensive interaction with the enviroment. More and more control and prediction skills are thus collapsed into ONE, like in the chunker-automatizer system of the neural history compressor (1991). This forces ONE to relate partially analogous skills (with shared algorithmic information) to each other, creating common subroutines in form of shared subnetworks of ONE, to greatly speed up subsequent learning of additional, novel but algorithmically related skills.

研究动机与目标

• 开发一个单一的、通用的神经网络（ONE），能够在不发生灾难性遗忘的情况下，持续学习多样化的任务。
• 结合强化学习与基于梯度的监督和无监督学习，以高效方式训练 ONE 学习新技能。
• 通过识别任务间共享的算法结构，使 ONE 能够重用先前学习到的子程序。
• 利用 PowerPlay 框架自动排序任务，以实现最优学习速度，最小化计算成本。
• 保留所有历史经验数据，实现持续压缩与泛化，避免数据丢弃。

提出的方法

• ONE 通过多种范式进行训练：强化学习（例如，神经演化）、监督学习，以及用于预测的无监督梯度下降。
• 使用用户定义的目标向量来指定任务，使网络能够通过输入条件化的动态行为学习特定任务的行为。
• PowerPlay 风格的训练会重新对 ONE 进行训练，使用过去试验中存储的输入/输出轨迹（包括失败的试验），以提升预测能力和泛化能力。
• 通过关联部分相似的技能，形成共享子网络，使新相关任务的学习速度显著加快。
• 通过跟踪权重方差和记录任务特定的权重使用情况，作为稳定关键权重并减少遗忘的启发式方法。
• 通过在任务-求解器对上进行贪心搜索，实现自动任务排序，优先选择紧凑且可快速验证的新技能。

实验结果

研究问题

• RQ1 一个单一的循环神经网络能否在不发生灾难性遗忘的情况下，持续学习并保留日益丰富的多样化控制与预测技能？
• RQ2 如何结合强化学习与基于梯度的学习，以高效训练一个通用问题求解器？
• RQ3 当相关技能在单一网络中被共同压缩时，共享子程序是否能自然涌现？
• RQ4 哪些机制能够实现在不丢弃历史经验的前提下高效持续学习？
• RQ5 基于计算复杂度的自动任务排序是否能提升学习新相关技能的速度？

主要发现

• ONE 能够从过去试验中（包括神经演化获得的）逐步吸收控制与预测技能，且不丢弃任何经验数据。
• 通过梯度下降压缩过往行为，ONE 简化了其内部权重矩阵，将先前学习到的技能本质嵌入其中。
• 当部分相似的技能被关联时，共享子程序会自然涌现，显著加速新相关任务的学习。
• 跟踪权重方差和任务特定的权重使用情况，有助于稳定关键知识，并在再训练过程中减少遗忘。
• 通过 PowerPlay 实现的自动任务排序可确保新技能按最小化计算成本并最大化学习速度的顺序被学习。
• 该系统表明，单一 RNN 可通过持续、高效的数据压缩方式，将过去经验不断泛化，从而演化为通用问题求解器。