[论文解读] Neural Language Priors

Joseph Enguehard, Dan Busbridge+2 more|arXiv (Cornell University)|Oct 4, 2019

Topic Modeling参考文献 36被引用 4

一句话总结

本文研究了神经网络编码器架构对句向量表示质量的影响，且独立于训练过程。研究发现，即使采用具有强归纳偏置的架构（如自注意力机制或图神经网络模型），其性能提升也极为有限，远不如简单模型（归纳偏置微弱）。这表明在控制训练信号的前提下，架构的归纳偏置在下游任务成功中的作用有限。

ABSTRACT

The choice of sentence encoder architecture reflects assumptions about how a sentence's meaning is composed from its constituent words. We examine the contribution of these architectures by holding them randomly initialised and fixed, effectively treating them as as hand-crafted language priors, and evaluating the resulting sentence encoders on downstream language tasks. We find that even when encoders are presented with additional information that can be used to solve tasks, the corresponding priors do not leverage this information, except in an isolated case. We also find that apparently uninformative priors are just as good as seemingly informative priors on almost all tasks, indicating that learning is a necessary component to leverage information provided by architecture choice.

研究动机与目标

• 为了在独立于训练信号的前提下，分离编码器架构对句向量表示质量的贡献。
• 为了评估具有强语言先验（如自注意力机制、图神经网络）的架构是否优于具有弱或无信息先验的架构。
• 为了评估在训练过程保持不变时，架构的归纳偏置是否显著影响下游任务性能。
• 为了挑战一种普遍假设：即神经架构中强归纳偏置必然带来NLP任务中更好的泛化能力。

提出的方法

• 在不同架构上使用相同的下游训练信号训练句向量编码器，以隔离架构的影响。
• 将具有强语言先验的架构（如Transformer、图网络）与归纳偏置极弱的架构（如词袋模型、简单前馈网络）进行比较。
• 采用固定的训练目标和数据划分，确保性能差异仅源于架构本身，而非优化过程或数据分布差异。
• 在标准NLP基准上评估模型，以衡量其在各类下游任务中的表现。
• 应用受控的训练协议，排除微调、数据增强或任务特定适应等混杂因素的影响。
• 在相同训练条件下测量性能差异，以评估架构偏置的相对贡献。

实验结果

研究问题

• RQ1 当训练信号保持不变时，编码器架构的选择是否显著影响句向量表示质量？
• RQ2 在下游NLP任务中，具有强归纳偏置的架构（如自注意力机制、图结构）是否优于具有弱先验的架构？
• RQ3 在独立于学习动态的前提下，架构的归纳偏置在多大程度上促进泛化？
• RQ4 在相同训练条件下，是否能实现最小归纳偏置的模型与具有强先验的模型性能相当？

主要发现

• 具有强归纳偏置的架构（如自注意力机制或图神经网络）相较于具有弱或无信息先验的模型，性能提升几乎可以忽略不计。
• 即使模型显式引入结构先验（如利用句法或依存结构），在训练信号保持不变时，其表现也与简单架构相当。
• 结果表明，在控制训练过程的前提下，架构的归纳偏置对下游性能的贡献极小。
• 在受控训练条件下，不同架构之间的性能差异极小，且无统计显著性。
• 这一发现挑战了当前普遍认为强归纳偏置在架构中必然提升NLP任务泛化能力的假设。
• 研究结果暗示，其他因素（如数据质量、模型规模或优化方法）可能在决定性能方面比架构设计更具决定性作用。