[论文解读] Temporal FiLM: Capturing Long-Range Sequence Dependencies with Feature-Wise Modulations

Sawyer Birnbaum, Volodymyr Kuleshov+3 more|arXiv (Cornell University)|Sep 14, 2019

Music and Audio Processing参考文献 48被引用 29

一句话总结

本文提出Temporal FiLM，一种新型神经网络层，通过引入循环建模机制增强前馈卷积神经网络，以捕捉长程序列依赖关系。通过使用RNN基于完整输入序列自适应地调节批量归一化参数，TFiLM在文本分类和时间序列超分辩任务中显著提升性能，且计算开销极低，优于强基线模型。

ABSTRACT

Learning representations that accurately capture long-range dependencies in sequential inputs -- including text, audio, and genomic data -- is a key problem in deep learning. Feed-forward convolutional models capture only feature interactions within finite receptive fields while recurrent architectures can be slow and difficult to train due to vanishing gradients. Here, we propose Temporal Feature-Wise Linear Modulation (TFiLM) -- a novel architectural component inspired by adaptive batch normalization and its extensions -- that uses a recurrent neural network to alter the activations of a convolutional model. This approach expands the receptive field of convolutional sequence models with minimal computational overhead. Empirically, we find that TFiLM significantly improves the learning speed and accuracy of feed-forward neural networks on a range of generative and discriminative learning tasks, including text classification and audio super-resolution

研究动机与目标

• 为解决文本、语音和基因组序列等序列数据中捕捉长程依赖关系的挑战。
• 克服标准卷积网络（感受野有限）和循环网络（训练困难、梯度消失）的局限性。
• 开发一种计算高效、领域无关的方法，为前馈模型增强长程上下文建模能力。
• 在判别性任务（如文本分类）和生成性任务（如时间序列超分辨率）中均提升性能。

提出的方法

• TFiLM引入一种时间自适应归一化层，利用处理完整输入序列的循环网络动态调制批量归一化参数（γ, β）。
• RNN为每个通道计算动态缩放与偏移因子，使卷积特征图能基于长程上下文自适应归一化。
• 通过残差连接与池化因子降低计算成本，同时保持性能。
• 该层被集成到前馈CNN架构中，相比自回归模型，训练与推理速度更快。
• 该方法应用于音频超分辨率、基因组信号重建和文本情感分类等任务。
• 针对不同任务调整超参数，如通道数（C）、序列长度（T）和池化因子，实验中使用B=2。

实验结果

研究问题

• RQ1 能否在不采用自回归推理的前提下，通过引入循环上下文增强前馈卷积网络以建模长程依赖关系？
• RQ2 对批量归一化参数的自适应调制在序列建模任务中如何提升性能？
• RQ3 单一、领域无关的架构在时间序列超分辨率任务中，能在多大程度上超越专用模型？
• RQ4 基于RNN的调制集成是否能同时提升判别性与生成性设置下的训练速度与准确率？

主要发现

• TFiLM显著提升前馈网络在文本分类任务中的准确率与学习速度，优于标准CNN与RNN基线模型。
• 在音频超分辨率任务中，TFiLM实现的重建质量等效于在10–20倍更多数据上训练的模型，显著降低对高分辨率输入的依赖。
• 在基因组超分辨率任务中，TFiLM仅用100万次测序读数即实现等效于1000万–2000万次读数的信号质量，展现出显著的成本效率优势。
• 模型具备跨领域泛化能力：在语音、音乐和零售销售数据上均表现优异，无需领域特定的特征工程。
• 消融实验确认，TFiLM层与跳跃连接均显著提升重建准确率，其中基于RNN的调制是关键贡献因素。
• 调制参数的可视化显示按语义因素聚类（如音频中的性别），表明模型学习到了有意义的长程表征。