[论文解读] Representational efficiency outweighs action efficiency in human program induction

Sophia Sanborn, David Bourgin+2 more|arXiv (Cornell University)|Jul 18, 2018

Reinforcement Learning in Robotics参考文献 21被引用 7

一句话总结

本研究探究人类在通过程序归纳解决问题时，是优先考虑表示效率还是行动效率。通过一项基于马尔可夫决策过程的新任务，参与者生成的分层解决方案在可压缩性方面优于以行动效率为导向的解决方案（表明表示复杂度更低），证明人类强烈偏好算法简洁性，而非最小化动作数量。

ABSTRACT

The importance of hierarchically structured representations for tractable planning has long been acknowledged. However, the questions of how people discover such abstractions and how to define a set of optimal abstractions remain open. This problem has been explored in cognitive science in the problem solving literature and in computer science in hierarchical reinforcement learning. Here, we emphasize an algorithmic perspective on learning hierarchical representations in which the objective is to efficiently encode the structure of the problem, or, equivalently, to learn an algorithm with minimal length. We introduce a novel problem-solving paradigm that links problem solving and program induction under the Markov Decision Process (MDP) framework. Using this task, we target the question of whether humans discover hierarchical solutions by maximizing efficiency in number of actions they generate or by minimizing the complexity of the resulting representation and find evidence for the primacy of representational efficiency.

研究动机与目标

• 探究人类在解决问题时，是否优先最小化动作数量（行动效率）或最小化程序表示的复杂度（表示效率）。
• 通过引入一种在MDP框架下能生成明确算法性解决方案的任务，弥合认知科学与分层强化学习（HRL）之间的鸿沟。
• 检验人类表现出对算法简洁性和高效编码偏好的假设，通过程序可压缩性进行衡量。
• 比较在强调行动效率、表示效率或默认问题解决策略的条件下，人类生成的解决方案。
• 评估表示效率（通过程序压缩衡量）是否优于行动效率，能够更准确预测人类解决方案偏好。

提出的方法

• 参与者在一种以马尔可夫决策过程（MDP）框架呈现的新颖问题解决任务中，生成分层的、程序化的解决方案。
• 使用压缩算法评估解决方案，该算法计算扁平动作序列的归一化可压缩性：$\text{compressibility} = \frac{\text{flat length} - \text{compressed length}}{\text{flat length}}$。
• 采用三种实验条件：Efficient（最小化动作）、Default Hierarchy（表示效率）、Default Flat（无指导）。
• 压缩算法递归识别重复子程序，并用函数调用替代以最小化程序长度。
• 将解决方案展平并压缩，以量化表示复杂度，可压缩性越高表示复杂度越低。
• 在不同条件下进行统计比较，以评估可压缩性和动作数量的差异。

实验结果

研究问题

• RQ1 人类是否更偏好最小化原始动作数量（行动效率）的解决方案，还是更偏好产生更紧凑、可压缩表示（表示效率）的解决方案？
• RQ2 在强调行动效率与表示效率的条件下，人类解决方案中的分层结构有何差异？
• RQ3 是否存在一种默认的人类倾向，即在无直接收益的情况下（例如在扁平解决方案条件下）仍生成可压缩的解决方案？
• RQ4 在不同任务条件下，表示复杂度（通过程序压缩衡量）在多大程度上能预测人类解决方案选择？
• RQ5 程序压缩度量能否作为建模人类问题解决偏好时算法简洁性的有效代理指标？

主要发现

• 在Default Hierarchy和Efficient Hierarchy条件下，参与者生成的解决方案可压缩性显著高于Efficient和Default Flat条件（所有比较p < .0001）。
• 尽管生成了更长的动作序列，但Hierarchy条件下的参与者生成的解决方案具有显著更高的可压缩性，表明其对表示效率的偏好。
• 在第5和第6个谜题中，Default Flat条件生成的解决方案可压缩性高于Efficient Flat条件（p < .05），即使在该条件下可压缩性并无直接益处。
• 在Default Flat条件下，可压缩的扁平解决方案仍被优先选择，表明人类存在一种默认的、对低复杂度表示的偏好，即使无明确激励。
• 结果表明，表示效率（通过程序压缩衡量）在引导人类程序归纳方面，优于行动效率。
• 本研究为人类在问题解决中存在认知偏见、倾向于算法简洁性和高效编码的假设提供了实证支持。