[论文解读] TaskNorm: Rethinking Batch Normalization for Meta-Learning

John Bronskill, Jonathan Gordon+3 more|arXiv (Cornell University)|Mar 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 30

一句话总结

TaskNorm 提出了一种面向元学习的自定义归一化方法，融合上下文集合统计量与逐样本统计量，以在多数据集上提升训练速度和测试性能。

ABSTRACT

Modern meta-learning approaches for image classification rely on increasingly deep networks to achieve state-of-the-art performance, making batch normalization an essential component of meta-learning pipelines. However, the hierarchical nature of the meta-learning setting presents several challenges that can render conventional batch normalization ineffective, giving rise to the need to rethink normalization in this setting. We evaluate a range of approaches to batch normalization for meta-learning scenarios, and develop a novel approach that we call TaskNorm. Experiments on fourteen datasets demonstrate that the choice of batch normalization has a dramatic effect on both classification accuracy and training time for both gradient based and gradient-free meta-learning approaches. Importantly, TaskNorm is found to consistently improve performance. Finally, we provide a set of best practices for normalization that will allow fair comparison of meta-learning algorithms.

研究动机与目标

• 突出标准批量归一化在元学习场景中的局限性。
• 提出 TaskNorm 作为为元学习定制的归一化方案。
• 证明 TaskNorm 在多样的数据集和元学习算法中具有持续的性能提升。
• 为在元学习研究中进行公平的归一化比较提供最佳实践建议。

提出的方法

• 将元学习视为一个分层概率模型，以证明任务本地归一化统计量的合理性。
• 引入 MetaBN 作为批量归一化的任务本地变体。
• 通过将上下文集合的矩量与非传导、逐样本的矩量进行混合来开发 TaskNorm，使用一个依赖于上下文集合大小的可学习 α。
• 通过将 BN 矩量与示例特定矩量混合的方程来定义合并矩量 mu_TN 和 sigma_TN^2（由 α 控制）。
• 将 α 参数化为 sigmoid(scale * |D^tau| + offset)，以适应跨层的上下文集合大小。
• 在多个数据集上，实证比较 TaskNorm 与常规 BN、传导 BN 以及基于实例的归一化方法。

实验结果

研究问题

• RQ1 在不同数据集和算法中，归一化的选择如何影响元学习中的性能和训练速度？
• RQ2 一种面向元学习的归一化（TaskNorm）能否在小样本设置下超越标准 BN 和其他归一化方法？
• RQ3 传导式与非传导式归一化对元学习比较有什么影响，应如何标注？
• RQ4 在元学习中应如何计算归一化统计量，以在不泄露测试信息的前提下反映任务级结构？

主要发现

• 在基于梯度和非梯度的元学习中，归一化的选择会显著影响准确性和训练时间。
• TaskNorm 在十四个数据集上始终优于竞争的归一化方案。
• 传导 BN（TBN）通常能获得更高的准确性，但对于公平的、非传导性比较以及流式/测试时设置而言存在问题。
• MetaBN 和 TaskNorm（尤其是 TaskNorm-I 和 TaskNorm-L 变体）在非传导性方面表现强劲且训练高效。
• 在小上下文情境（少样本）下，TaskNorm 将上下文矩量与逐样本矩量混合的统计量比仅上下文的方法更具鲁棒性。