[论文解读] Theoretical Models of Learning to Learn

Jonathan Baxter|Feb 27, 2020

Machine Learning and Algorithms参考文献 8被引用 42

一句话总结

引入两种理论性偏差学习（学习如何学习）模型：一个经验过程（EP）模型和一个分层贝叶斯模型，详细说明代理如何从相关任务的环境中学习偏差以推广到新任务。

ABSTRACT

A Machine can only learn if it is biased in some way. Typically the bias is supplied by hand, for example through the choice of an appropriate set of features. However, if the learning machine is embedded within an {\em environment} of related tasks, then it can {\em learn} its own bias by learning sufficiently many tasks from the environment. In this paper two models of bias learning (or equivalently, learning to learn) are introduced and the main theoretical results presented. The first model is a PAC-type model based on empirical process theory, while the second is a hierarchical Bayes model.

研究动机与目标

• 将偏差学习视为超越手工偏差的泛化基本要素以进行动机提出。
• 呈现两种形式化模型（EP和贝叶斯）在相关任务环境中的学习到学习。
• 展示学习者如何选择能够跨任务泛化的偏差（或假设空间家族）。
• 提供概率界限和见解，指示需要多少任务以及每个任务的样本量以实现有效的学习到学习。

提出的方法

• EP 模型：通过一族假设空间形式化偏差学习，并推导在确保所有任务都能得到较好解的任务/样本要求界限。
• 贝叶斯模型：将偏差学习视为对任务分布及其超先验的分层推断，导致基于 KL 散度的性能分析。
• 将环境定义为 (P, Q)，其中 P 是任务分布，Q 是任务上的分布；在一组假设空间上进行优化。
• 引入经验损失 er 及其经验对应物以研究跨任务的一致收敛。
• 主要结果将样本复杂度（n 个任务、每个任务 m 个样本）与损失函数类的覆盖数相关联。
• 讨论 EP 与贝叶斯方法作为最大似然与贝叶斯更新视角之间的关系。

实验结果

研究问题

• RQ1 对同一环境中抽取的新任务，偏差学习者需要多少任务以及每个任务多少样本量才能确保得到良好解？
• RQ2 应该如何选择假设空间家族（超偏差）以实现跨相关任务的有效学习到学习？
• RQ3 在学习到学习的背景下，经验过程理论与贝叶斯偏差学习之间有什么联系？
• RQ4 当考虑带有任务分布（P）和环境（Q）的环境时，泛化界限如何改变？

主要发现

• 开发了两种学习到学习的正式模型：一个基于EP的偏差学习模型和一个分层贝叶斯模型。
• 对于EP模型，建立了一个界限，表明需要多少任务以及每个任务需要多少样本才能以高概率确保一个对整个环境良好的假设空间。
• 对于贝叶斯模型，当实现性成立时，真分布与后验分布之间的 KL 散度按 d/m 收敛，与EP结果相呼应。
• 在 EP 框架中，学习到学习取决于假设空间家族（编码偏差）的选择。
• 主要定理给出在 er_Q(H) 与 er_z(H) 高概率接近的条件，将样本复杂度与假设空间家族的复杂度通过覆盖数联系起来。
• 结果表明，利用多个相关任务可以随着任务数量增加而降低每任务的样本需求。