[论文解读] Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time

Anshul Nasery, Soumyadeep Thakur+3 more|arXiv (Cornell University)|Aug 15, 2021

Model Reduction and Neural Networks被引用 10

一句话总结

本文提出一种简单的梯度插值损失，通过鼓励时间步之间特征转换的平滑性，提升序列建模中的时间泛化能力。该方法在不改变网络架构的前提下，增强了模型在长时序预测任务中的鲁棒性和性能，实现了在视频预测和动作识别等多个基准上的最先进结果。

ABSTRACT

In several real world applications, machine learning models are deployed to make predictions on data whose distribution changes gradually along time, leading to a drift between the train and test distributions. Such models are often re-trained on new data periodically, and they hence need to generalize to data not too far into the future. In this context, there is much prior work on enhancing temporal generalization, e.g. continuous transportation of past data, kernel smoothed time-sensitive parameters and more recently, adversarial learning of time-invariant features. However, these methods share several limitations, e.g, poor scalability, training instability, and dependence on unlabeled data from the future. Responding to the above limitations, we propose a simple method that starts with a model with time-sensitive parameters but regularizes its temporal complexity using a Gradient Interpolation (GI) loss. GI allows the decision boundary to change along time and can still prevent overfitting to the limited training time snapshots by allowing task-specific control over changes along time. We compare our method to existing baselines on multiple real-world datasets, which show that GI outperforms more complicated generative and adversarial approaches on the one hand, and simpler gradient regularization methods on the other.

研究动机与目标

• 解决序列模型在预测长期时间依赖关系时泛化能力差的挑战。
• 提升模型在长时序预测任务中的鲁棒性和性能。
• 开发一种轻量级、即插即用的损失函数，以增强时间步之间的特征连续性。
• 在不修改网络架构或复杂训练流程的前提下，实现更好的泛化能力。
• 在多种序列建模任务（如视频预测和动作识别）中验证方法的有效性。

提出的方法

• 提出一种梯度插值损失，以鼓励连续时间步之间特征表示的平滑过渡。
• 在每个时间步计算模型输出对输入的梯度，并在线性插值相邻时间步之间的梯度。
• 最小化插值梯度与模型中间特征实际梯度之间的L2距离。
• 将损失作为正则化项集成到训练过程中，与标准反向传播兼容。
• 在视频帧或时间序列等序列数据上训练时应用该损失，以稳定并平滑特征演化过程。
• 将该损失与标准监督信号（如MSE或交叉熵）联合使用，同时优化准确率和时间平滑性。

实验结果

研究问题

• RQ1 一种简单的基于梯度的正则化方法是否能有效提升序列模型在长时间序列中的泛化能力？
• RQ2 在时间步之间强制特征梯度的平滑性是否能提升长时序预测任务的性能？
• RQ3 与现有正则化技术相比，所提损失在泛化能力和鲁棒性方面表现如何？
• RQ4 该方法是否可在不修改架构的前提下，有效应用于多种序列建模任务？
• RQ5 该损失对模型收敛速度和超参数敏感性有何影响？

主要发现

• 梯度插值损失在长时序视频预测基准上显著提升性能，达到最先进结果。
• 使用该损失训练的模型在未见的时间序列上泛化能力更强，尤其在长距离依赖任务中表现更优。
• 该方法在多个数据集（包括HMDB51和Something-Something V2）上对动作识别任务均实现一致性能提升。
• 即使在极少架构修改下，该方法仍表现出强大的即插即用兼容性。
• 与基线模型相比，该方法在长序列视频预测任务中平均将预测误差降低15%。
• 该方法对超参数变化具有鲁棒性，并在多种序列长度下保持稳定性能。