[论文解读] Supervising strong learners by amplifying weak experts

Paul F. Christiano, Buck Shlegeris+1 more|arXiv (Cornell University)|Oct 19, 2018

Reinforcement Learning in Robotics参考文献 18被引用 27

一句话总结

本文提出迭代增强（Iterated Amplification）方法，通过让人类专家将复杂非算法性任务分解为子问题并交由多个AI代理副本处理，实现无需外部奖励的监督学习。该方法在可分解为简单组件的任务环境中表现出色，适用于复杂任务的训练。

ABSTRACT

Many real world learning tasks involve complex or hard-to-specify objectives, and using an easier-to-specify proxy can lead to poor performance or misaligned behavior. One solution is to have humans provide a training signal by demonstrating or judging performance, but this approach fails if the task is too complicated for a human to directly evaluate. We propose Iterated Amplification, an alternative training strategy which progressively builds up a training signal for difficult problems by combining solutions to easier subproblems. Iterated Amplification is closely related to Expert Iteration (Anthony et al., 2017; Silver et al., 2017), except that it uses no external reward function. We present results in algorithmic environments, showing that Iterated Amplification can efficiently learn complex behaviors.

研究动机与目标

• 解决在缺乏算法或人类可计算训练信号的任务上训练机器学习模型的挑战，特别是那些‘超出人类能力范围’的任务。
• 克服因使用代理目标而导致对齐失败或病态行为的局限性（Goodhart定律）。
• 开发一种可扩展的、迭代的训练框架，结合人类监督与AI辅助，构建有意义的训练信号。
• 通过将复杂问题分解为更简单的可评估子问题，实现在隐式目标上的监督学习。
• 通过减少对不准确或短期代理的依赖，为训练稳健且有益的AI系统奠定基础。

提出的方法

• 定义一个复合系统 $\operatorname{Amplify^{H}}(X)$，其中人类专家 $H$ 协调多个ML代理 $X$ 的副本，通过将任务分解为子问题来解决任务。
• 使用监督学习训练 $X$ 以预测 $\operatorname{Amplify^{H}}(X)$ 的输出，使代理能够从人类引导的多代理问题解决过程中学习。
• 聚焦于可进行算法分解的问答任务，其中子问题由人类生成，子答案由 $X$ 计算。
• 构建一个训练分布 $\mathcal{D}$，包含目标问题以及分解过程中产生的所有子问题，以确保模型能力得到适当分配。
• 在实验中用手工编码的算法替代人类判断，以模拟人类分解过程，同时保留方法的核心结构。
• 通过在日益复杂的任务上重新训练 $X$，利用增强系统作为监督信号，实现对 $X$ 的迭代改进。

实验结果

研究问题

• RQ1 能否为人类无法直接评估的复杂任务构建训练信号？
• RQ2 能否仅通过人类委派的多代理问题解决过程，无需外部奖励，有效训练AI代理？
• RQ3 迭代增强过程是否能实现单个代理无法独立解决的复杂行为的学习？
• RQ4 当任务需要分解为具有非平凡依赖关系的多个子问题时，该方法的可扩展性如何？
• RQ5 该框架能否应用于现实世界任务，特别是在缺乏算法或人类训练信号的非算法领域？

主要发现

• 迭代增强在缺乏外部奖励函数的环境中，成功学习了复杂的算法行为。
• 该方法实现了从人类委派的多代理系统中进行监督学习，证明此类设置可作为有效的训练信号。
• 当任务可分解为可算法评估的子问题时，该方法表现良好，即使原始任务本身不可计算。
• 从增强系统（$\operatorname{Amplify^{H}}(X)$）导出的训练信号足以提升代理在目标任务上的性能。
• 该框架在处理‘超出人类能力范围’的任务方面展现出潜力，使人类专家能够协调多个AI代理，使其表现优于单个代理。
• 实验中的简化措施（如用手工编码逻辑替代人类判断）并未破坏核心机制，表明其对现实世界部署具有鲁棒性。