[论文解读] Optimizing Data Usage via Differentiable Rewards

Xinyi Wang, Hieu Pham+4 more|arXiv (Cornell University)|Nov 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 60被引用 4

一句话总结

本文提出可微数据选择（DDS），一种基于强化学习的框架，通过基于开发集梯度对齐来训练可学习评分器，动态加权训练数据，实现高效、端到端的数据使用优化。DDS 在图像分类和多语言神经机器翻译任务中均显著优于强基线模型，无需启发式设计或昂贵的多轮训练。

ABSTRACT

To acquire a new skill, humans learn better and faster if a tutor, based on their current knowledge level, informs them of how much attention they should pay to particular content or practice problems. Similarly, a machine learning model could potentially be trained better with a scorer that "adapts" to its current learning state and estimates the importance of each training data instance. Training such an adaptive scorer efficiently is a challenging problem; in order to precisely quantify the effect of a data instance at a given time during the training, it is typically necessary to first complete the entire training process. To efficiently optimize data usage, we propose a reinforcement learning approach called Differentiable Data Selection (DDS). In DDS, we formulate a scorer network as a learnable function of the training data, which can be efficiently updated along with the main model being trained. Specifically, DDS updates the scorer with an intuitive reward signal: it should up-weigh the data that has a similar gradient with a dev set upon which we would finally like to perform well. Without significant computing overhead, DDS delivers strong and consistent improvements over several strong baselines on two very different tasks of machine translation and image classification.

研究动机与目标

• 解决机器学习中因训练数据分布与测试分布不一致而导致泛化性能差的问题。
• 消除对人工设计的启发式方法或任务特定规则在数据选择、加权或课程学习中的依赖。
• 开发一种可泛化、高效的训练数据使用优化方法，可在训练过程中自适应调整并提升开发集性能。
• 实现自动、自适应的数据加权机制，随模型学习状态动态演化，避免多次训练运行。

提出的方法

• 将数据加权建模为训练样本的可微函数，由与主模型联合训练的评分器网络参数化。
• 利用训练样本与开发集之间的梯度对齐作为奖励信号，指导评分器的优化。
• 采用双层优化框架，通过直接反向传播，使评分器更新以最小化模型在开发集上的损失。
• 通过可微更新规则应用奖励信号，高效地将梯度反向传播至评分器网络。
• 提出两种具体实现：一种用于图像分类（CIFAR-10、ImageNet），另一种用于多语言神经机器翻译。
• 利用基于梯度的元学习和辅助任务学习的最新进展，构建稳定且有效的奖励函数。

实验结果

研究问题

• RQ1 是否可以端到端训练可学习的评分器网络，以动态加权训练数据，从而提升开发集性能？
• RQ2 如何设计奖励信号以反映数据的相关性，而无需依赖人工设计的启发式方法或多次训练运行？
• RQ3 所提出的可微框架是否能在图像分类和神经机器翻译等多样化任务中实现泛化？
• RQ4 训练样本与开发集样本之间的梯度对齐是否可作为数据效用的可靠且有效的代理指标？

主要发现

• DDS 在图像分类和多语言神经机器翻译任务中均持续且显著优于强基线模型。
• 在图像分类任务中，该方法大幅超越基于启发式和元学习的基线模型（包括 Ren et al. (2018)）。
• 在多语言 NMT 中，DDS 能够自动优先选择相关语言的数据（例如，在训练斯洛伐克语时聚焦捷克语数据），并随训练过程动态调整。
• 数据加权策略随时间演变，模型会根据学习阶段的不同，将注意力转向不同的语言对或数据类型。
• 该框架无需额外训练轮次或昂贵的多轮优化，计算效率高。