[论文解读] Probabilistic Active Meta-Learning

Jean Kaddour, Steindór Sæmundsson+1 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 7

一句话总结

该论文提出概率主动元学习（PAML），一种数据高效的方法，通过使用学习到的潜在任务嵌入来主动选择元训练中最 informative 的任务，从而提升机器人仿真中的样本效率。PAML 在使用更少任务的情况下，实现了比基线更低的预测误差，利用概率建模在潜在空间中对任务进行排序和选择，无需直接访问任务参数或轨迹。

ABSTRACT

Data-efficient learning algorithms are essential in many practical applications where data collection is expensive, e.g., in robotics due to the wear and tear. To address this problem, meta-learning algorithms use prior experience about tasks to learn new, related tasks efficiently. Typically, a set of training tasks is assumed given or randomly chosen. However, this setting does not take into account the sequential nature that naturally arises when training a model from scratch in real-life: how do we collect a set of training tasks in a data-efficient manner? In this work, we introduce task selection based on prior experience into a meta-learning algorithm by conceptualizing the learner and the active meta-learning setting using a probabilistic latent variable model. We provide empirical evidence that our approach improves data-efficiency when compared to strong baselines on simulated robotic experiments.

研究动机与目标

• 为解决标准元学习的数据效率低下问题，后者假设训练任务是随机采样或均匀选择的。
• 实现在真实场景中高数据采集成本下，从零开始主动且数据高效地探索任务空间。
• 开发一种基于先前经验、利用任务描述符和学习到的潜在表示来选择下一个学习任务的方法。
• 在保持或提升泛化性能的同时，减少覆盖任务领域所需的任务数量。
• 实现在无需直接访问任务参数、轨迹或参考环境的情况下进行任务选择。

提出的方法

• PAML 使用概率潜在变量框架对任务建模，学习任务数据与任务描述符的联合嵌入。
• 采用变分推理方法，从未高维输入（如图像或间接描述符）中推断潜在任务表示。
• 基于信息量在潜在空间中对任务效用进行评分，效用越高表示越可能提升元模型的泛化能力。
• 通过在潜在空间中对候选任务进行排序来选择下一个任务，优先选择相对于先前经验最具信息量或最多样化的任务。
• 将任务描述符显式集成到模型中，实现无需额外交互或观测即可完成选择。
• 该方法使用 VAE 对基于像素的任务描述符进行验证，并可扩展至具有未观测或噪声参数的系统。

实验结果

研究问题

• RQ1 基于学习到的潜在表示的主动任务选择，能否提升元学习中的数据效率？
• RQ2 PAML 在收敛速度和最终性能方面，与均匀采样和随机任务选择相比表现如何？
• RQ3 PAML 是否能有效忽略任务描述符中的无关或噪声维度，同时聚焦于有意义的任务参数？
• RQ4 在未直接访问底层参数的情况下，PAML 在高维、间接任务描述符（如图像）上的泛化能力如何？
• RQ5 潜在嵌入的使用在探索复杂、多模态任务空间方面，能带来多大程度的改进？

主要发现

• PAML 仅在增加一个任务后，预测误差即达到与基线相当的水平，而基线需约五个任务才能达到相似性能。
• 在不同小车载物杆长度的实验中，PAML 始终在狭窄范围内选择具有信息量的长度，表明其对参数空间的有效探索。
• 当在任务描述符中加入冗余噪声维度时，PAML 学会忽略该维度，并持续选择噪声参数值接近 0.5，同时聚焦于有意义的动力学参数。
• 在基于像素的任务描述符下，PAML 显著优于均匀随机选择（UNI），在 NLL 和 RMSE 两项指标上均更快逼近最优性能。
• PAML 减少了探索和覆盖任务领域所需的任务数量，展示了在所有评估设置下均更优的数据效率。
• 潜在嵌入实现了无需轨迹、参考环境或直接观测任务参数即可有效进行任务比较与选择。