[论文解读] OMNI: Open-endedness via Models of human Notions of Interestingness

Jenny Zhang, Joel Lehman+2 more|arXiv (Cornell University)|Jun 2, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

OMNI 提出将基础模型（foundation models, FMs）作为人类对‘有趣性’（MoI）概念的模型，以指导开放式学习，通过优先选择既可学习又真正有趣的任务。通过利用预训练的 FMs 来评估新颖性和价值，OMNI 在 Crafter 和 BabyAI 等环境中，相较于均匀采样和仅基于学习进度的基线方法，能更有效地发现多样化且高影响力的智能行为。

ABSTRACT

Open-ended algorithms aim to learn new, interesting behaviors forever. That requires a vast environment search space, but there are thus infinitely many possible tasks. Even after filtering for tasks the current agent can learn (i.e., learning progress), countless learnable yet uninteresting tasks remain (e.g., minor variations of previously learned tasks). An Achilles Heel of open-endedness research is the inability to quantify (and thus prioritize) tasks that are not just learnable, but also $ extit{interesting}$ (e.g., worthwhile and novel). We propose solving this problem by $ extit{Open-endedness via Models of human Notions of Interestingness}$ (OMNI). The insight is that we can utilize foundation models (FMs) as a model of interestingness (MoI), because they $ extit{already}$ internalize human concepts of interestingness from training on vast amounts of human-generated data, where humans naturally write about what they find interesting or boring. We show that FM-based MoIs improve open-ended learning by focusing on tasks that are both learnable $ extit{and interesting}$, outperforming baselines based on uniform task sampling or learning progress alone. This approach has the potential to dramatically advance the ability to intelligently select which tasks to focus on next (i.e., auto-curricula), and could be seen as AI selecting its own next task to learn, facilitating self-improving AI and AI-Generating Algorithms. Project website at https://www.jennyzhangzt.com/omni/

研究动机与目标

• 为开放式人工智能研究中的关键空白提供解决方案：无法量化并优先选择真正有趣的任务，而不仅仅是可学习的任务。
• 克服手工设计的有趣性度量方法的局限性，这些方法往往无法捕捉人类对新颖性和价值的直觉。
• 使人工智能智能体能够自主生成并专注于一套自我策划的、多样化的任务课程，这些任务既可学习又值得追求。
• 探索基础模型——在海量人类生成数据上预训练——是否能够内化并泛化人类对有趣性的判断，从而用于人工智能的自我提升。

提出的方法

• OMNI 使用基础模型（FMs）作为有趣性模型（MoI），利用其在大规模文本语料库中预训练的对新颖性、价值和原创性等人类概念的理解能力。
• MoI 通过提示 FMs 判断候选任务是否可学习且有趣，使用少样本示例引导推理过程。
• 根据 FMs 的输出对任务进行排序，得分越高表示预期学习进度越大且感知有趣性越高。
• 智能体从排序列表中采样任务，确保探索多样化且非冗余的行为，而非已知任务的微小变体。
• 该方法将学习进度（通过策略性能衡量）与基于 FMs 的有趣性整合到统一的评分函数中，用于任务选择。
• OMNI 使用句子级模型（如 GPT-3.5）和句子嵌入模型（如 BGE）进行评估，并通过消融实验比较其性能。

实验结果

研究问题

• RQ1 基础模型能否在开放式学习中有效充当人类对有趣性理解的代理？
• RQ2 基于 FMs 的任务选择方法与均匀采样和仅基于学习进度的基线方法相比，在促进多样化和高影响力技能获取方面表现如何？
• RQ3 FMs 在多大程度上能够区分可学习但无趣的任务（如微小变体）与真正新颖且有价值的任务？
• RQ4 通过在单一 FMs 提示中整合有趣性的多个方面（如新颖性、价值、复杂性），能否改进有趣性模型？
• RQ5 允许人工智能基于类人有趣的判断自主选择下一个学习任务，其安全影响是什么？

主要发现

• 在 Crafter 环境中，OMNI 在所有训练步骤的平均任务成功率上显著优于均匀采样和仅基于学习进度的基线方法。
• OMNI 在被认为无聊的任务（如重复性或复合任务）上的成功率高于 OMNI-embed，表明其对真正有趣性的辨别能力更强。
• 该方法成功识别并优先处理非冗余、高影响力的任务，例如在分别掌握收集木头和石头后，才学习同时收集两者，避免对复合任务的高估。
• OMNI-embed（一种更简单的句子嵌入基线）在某些场景下表现与 OMNI 相当，但在复合任务场景中无法区分任务新颖性的细微差别。
• 当使用少样本示例提示时，GPT-4 展现出强大能力，能够整合有趣性的多个方面（如新颖性、价值、可学习性），表明其在可扩展、自适应 MoI 设计方面具有潜力。
• 结果表明，基础模型能够内化并泛化类人的有趣性判断，使人工智能能够自主策划其学习任务课程。