[论文解读] Teaching with Commentaries

Aniruddh Raghu, Maithra Raghu+3 more|arXiv (Cornell University)|Nov 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用 4

一句话总结

本文提出了一种灵活的元学习教学框架，利用‘评论’——一种通过梯度优化学习得到的元信息，以提升神经网络训练效果。通过隐式微分的梯度优化方法，评论能够实现更快的收敛速度、更优的性能表现，并在示例加权、数据增强和注意力掩码等任务中展现出更强的鲁棒性。可复用的评论能够跨模型和数据集泛化。

ABSTRACT

Effective training of deep neural networks can be challenging, and there remain many open questions on how to best learn these models. Recently developed methods to improve neural network training examine teaching: providing learned information during the training process to improve downstream model performance. In this paper, we take steps towards extending the scope of teaching. We propose a flexible teaching framework using commentaries, learned meta-information helpful for training on a particular task. We present gradient-based methods to learn commentaries, leveraging recent work on implicit differentiation for scalability. We explore diverse applications of commentaries, from weighting training examples, to parameterising label-dependent data augmentation policies, to representing attention masks that highlight salient image regions. We find that commentaries can improve training speed and/or performance, and provide insights about the dataset and training process. We also observe that commentaries generalise: they can be reused when training new models to obtain performance benefits, suggesting a use-case where commentaries are stored with a dataset and leveraged in future for improved model training.

研究动机与目标

• 通过学习辅助教学信号，解决加快深度神经网络训练速度并提升数据效率的挑战。
• 克服以往教学方法在任务上具有局限性、无法在不同模型或数据集间复用的问题。
• 开发一个统一且灵活的框架，用于学习元信息（评论），以指导训练过程并提供可解释性。
• 证明评论能够跨模型泛化，实现与新训练设置的复用，从而提升性能和训练速度。
• 探索评论在准确率之外的多样化应用，如可解释性（注意力掩码）以及对虚假相关性的鲁棒性。

提出的方法

• 将评论定义为通过神经网络或表格函数参数化的学习型元信息（例如，示例权重、增强策略、注意力掩码）。
• 通过反向传播训练过程，对评论参数进行优化，方法是将学生网络的验证损失对评论参数进行微分。
• 利用隐式微分和超梯度计算（基于Lorraine等人，2020年）的方法，将评论学习扩展至大规模模型。
• 以三种不同方式应用评论：(1) 通过学习到的示例权重实现课程学习，(2) 基于标签的数据增强策略，(3) 用于显著性检测的注意力掩码生成。
• 使用验证损失目标端到端训练评论网络，使模型能够学习到对下游训练有用的元知识。
• 将评论与数据集一起存储并复用，以提升新模型的训练效果，证明其可迁移性和泛化能力。

实验结果

研究问题

• RQ1 通过反向传播训练学习到的元信息（评论）是否能在多种深度学习任务中提升训练速度和性能？
• RQ2 评论能否为数据和训练动态提供可解释的洞察，例如识别出图像中的显著区域？
• RQ3 评论是否能在不同模型和数据集之间泛化，实现复用以加速或提升新的训练运行？
• RQ4 在缓解虚假相关性（如CUB数据集中背景特征）方面，评论的有效性如何？
• RQ5 评论是否可用于学习有效的数据增强策略，以提升模型的鲁棒性和准确率？

主要发现

• 通过在训练过程中反向传播学习到的评论，显著提升了少样本学习基准上的验证准确率，并减少了训练时间。
• 在CUB-200-2011数据集上学习到的注意力掩码聚焦于鸟类而非背景，展示了其可解释性和鲁棒性。
• 在存在分布偏移（虚假背景相关性）的CUB数据集中，使用注意力掩码将测试集top-1准确率从25.81%提升至30.46%，top-5准确率从56.98%提升至61.57%。
• 用于数据增强的评论相比基线增强策略，在基准任务上实现了更优的性能表现。
• 通过评论学习到的示例加权课程提供了对哪些训练样本最具信息量的可解释性洞察。
• 评论具备泛化能力：将学习到的评论复用于新模型（如ResNet-18）可带来可测量的训练速度与性能提升，表明其在数据集层面知识复用方面具有可行性。