[论文解读] The Human Kernel

Andrew Gordon Wilson, Christoph Dann+2 more|arXiv (Cornell University)|Oct 26, 2015

Gaussian Processes and Bayesian Inference参考文献 21被引用 18

一句话总结

本文提出了一种核学习框架，通过分析人类实验的行为数据，反向工程人类在函数外推中的归纳偏置。通过学习类人核函数，该方法使高斯过程能够以心理上合理的方式进行外推，揭示了人类与基于模型的学习中奥卡姆剃刀原则的内在机制。

ABSTRACT

Bayesian nonparametric models, such as Gaussian processes, provide a compelling framework for automatic statistical modelling: these models have a high degree of flexibility, and automatically calibrated complexity. However, automating human expertise remains elusive; for example, Gaussian processes with standard kernels struggle on function extrapolation problems that are trivial for human learners. In this paper, we create function extrapolation problems and acquire human responses, and then design a kernel learning framework to reverse engineer the inductive biases of human learners across a set of behavioral experiments. We use the learned kernels to gain psychological insights and to extrapolate in human-like ways that go beyond traditional stationary and polynomial kernels. Finally, we investigate Occam's razor in human and Gaussian process based function learning.

研究动机与目标

• 研究人类在标准核基模型之外如何泛化函数。
• 通过受控的行为实验，识别人类函数外推背后的归纳偏置。
• 开发一种核学习框架，以捕捉并复制类人泛化行为。
• 比较人类与高斯过程学习在奥卡姆剃刀原则和模型复杂度方面的表现。

提出的方法

• 开展行为实验，收集人类在函数外推任务中的响应数据。
• 设计一种贝叶斯非参数核学习框架，从人类数据中推断归纳偏置。
• 使用学习到的核函数的高斯过程，建模类人外推行为。
• 利用人类提供的函数外推响应训练核学习模型。
• 在分布外泛化任务上评估学习到的核函数，以评估其类人程度。
• 应用奥卡姆剃刀分析，比较人类与基于模型学习中的简洁性偏好。

实验结果

研究问题

• RQ1 人类在将函数外推至训练数据之外时，使用了哪些归纳偏置？
• RQ2 人类的函数外推行为与标准高斯过程模型的行为有何不同？
• RQ3 我们能否学习到一种能复制类人泛化行为的核函数？
• RQ4 人类与高斯过程在函数学习中遵循奥卡姆剃刀原则的程度如何？
• RQ5 学习到的核函数与传统平稳核和多项式核在泛化性能上相比如何？

主要发现

• 学习到的核模型在未见过的函数外推任务上成功复制了类人外推行为。
• 人类学习者表现出偏离标准平稳核和多项式核的归纳偏置，更倾向于特定的结构模式。
• 核学习框架捕捉到了人类函数学习中的心理规律性，例如对简单、结构化函数的偏好。
• 人类表现出比标准高斯过程更强的奥卡姆剃刀偏好，更倾向于选择更简单的模型。
• 学习到的核函数在分布外外推任务上的泛化性能优于标准核函数，表明其归纳偏置对齐性更优。
• 本研究揭示，人类函数学习涉及传统核函数无法捕捉的结构化、非平稳归纳偏置。