[论文解读] Using Natural Language and Program Abstractions to Instill Human Inductive Biases in Machines

Sreejan Kumar, Carlos G. Correa+8 more|arXiv (Cornell University)|May 23, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出通过自然语言描述和程序抽象（尤其是具有学习到的原语的抽象）来联合训练元强化学习智能体，以引入类人的归纳偏置。通过利用人类生成的语言和基于库学习的程序归纳，该方法在人类擅长的任务上提升了泛化能力，同时在人类表现较差的任务上降低了性能，表明这些表征中的抽象压缩机制推动了更类人的行为。

ABSTRACT

Strong inductive biases give humans the ability to quickly learn to perform a variety of tasks. Although meta-learning is a method to endow neural networks with useful inductive biases, agents trained by meta-learning may sometimes acquire very different strategies from humans. We show that co-training these agents on predicting representations from natural language task descriptions and programs induced to generate such tasks guides them toward more human-like inductive biases. Human-generated language descriptions and program induction models that add new learned primitives both contain abstract concepts that can compress description length. Co-training on these representations result in more human-like behavior in downstream meta-reinforcement learning agents than less abstract controls (synthetic language descriptions, program induction without learned primitives), suggesting that the abstraction supported by these representations is key.

研究动机与目标

• 探究自然语言和程序抽象是否可作为人工智能代理训练中人类归纳偏置的存储库。
• 确定与这些表征联合训练是否能促使元强化学习智能体表现出更类人的行为。
• 检验抽象（尤其是通过语言和程序表征中的压缩）是否驱动了泛化能力的提升和类人归纳偏置的形成。
• 比较人类生成与合成的语言和程序抽象（有无学习到的原语）在塑造智能体行为方面的有效性。
• 探索利用主动学习和数据增强扩展此类表征在更大环境中的可行性。

提出的方法

• 通过预测源自自然语言任务描述和程序抽象的表征作为辅助任务，联合训练元强化学习智能体。
• 在二维二值网格环境中使用领域特定语言（DSL）生成程序，包含基础原语和学习到的库抽象。
• 应用库学习自动发现并整合能压缩描述长度的高阶程序原语，以模仿人类的抽象机制。
• 在元强化学习训练过程中，将人类生成的语言描述和含学习原语的程序作为辅助监督信号，训练智能体进行预测。
• 在控制条件下进行性能比较：合成语言、基础DSL程序，以及含学习库的程序，以人类表现作为基准。
• 采用Kumar等人[10]设计的任务分布，用于区分归纳偏置的细微差异，从而实现对智能体行为的精细化分析。

实验结果

研究问题

• RQ1 与人类生成的自然语言描述联合训练，是否能提升元强化学习智能体与人类归纳偏置的一致性？
• RQ2 使用含学习原语的程序抽象（尤其是能压缩描述长度的抽象）是否能促使智能体表现出更类人的行为？
• RQ3 不同形式的表征（合成语言 vs. 人类语言，基础DSL vs. 库扩展程序）如何影响类人归纳偏置的出现？
• RQ4 人类语言和程序表征中的抽象程度之间是否存在可测量的对应关系，暗示共享的认知压缩机制？
• RQ5 语言和程序表征中的抽象程度在多大程度上驱动了下游元强化学习任务中泛化能力的提升和类人行为的形成？

主要发现

• 在人类生成的语言和含学习原语的程序上联合训练的智能体，表现出显著更类人的行为，优于在合成语言或基础DSL程序上训练的智能体。
• 使用含学习原语的程序抽象，导致在人类表现较差的任务分布上性能明显下降，表明智能体采纳了更类人的归纳偏置。
• 观察到人类生成的语言描述与通过库学习生成的程序之间存在强烈对应关系，表明两者均通过高阶抽象以相似方式压缩信息。
• 发现支持通过压缩实现抽象的表征（尤其是语言和程序抽象）是下游元强化学习智能体表现出类人行为的关键驱动力。
• 在人类擅长的任务分布上，使用人类语言和库扩展程序训练的智能体表现优于控制组，显示出更强的泛化能力。
• 结果表明，自然语言和程序表征中的压缩抽象是向人工智能代理注入类人归纳偏置的关键机制。