[论文解读] What they do when in doubt: a study of inductive biases in seq2seq learners

Eugene Kharitonov, Rahma Chaabouni|arXiv (Cornell University)|Jun 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用 13

一句话总结

本文通过四项合成任务（分别探测记忆、算术、层次化和组合性推理）研究了序列到序列模型中的归纳偏置。文章提出了描述长度作为一种原则性且敏感的归纳偏置度量方法，并发现LSTM和Transformer模型倾向于层次化泛化，而CNN模型则偏好线性与组合性模式，其中Transformer表现出强烈的记忆偏置。

ABSTRACT

Sequence-to-sequence (seq2seq) learners are widely used, but we still have only limited knowledge about what inductive biases shape the way they generalize. We address that by investigating how popular seq2seq learners generalize in tasks that have high ambiguity in the training data. We use SCAN and three new tasks to study learners' preferences for memorization, arithmetic, hierarchical, and compositional reasoning. Further, we connect to Solomonoff's theory of induction and propose to use description length as a principled and sensitive measure of inductive biases. In our experimental study, we find that LSTM-based learners can learn to perform counting, addition, and multiplication by a constant from a single training example. Furthermore, Transformer and LSTM-based learners show a bias toward the hierarchical induction over the linear one, while CNN-based learners prefer the opposite. On the SCAN dataset, we find that CNN-based, and, to a lesser degree, Transformer- and LSTM-based learners have a preference for compositional generalization over memorization. Finally, across all our experiments, description length proved to be a sensitive measure of inductive biases.

研究动机与目标

• 为了理解序列到序列模型在数据稀缺条件下的泛化行为，尤其是在有限训练数据下存在多种一致解释时的泛化机制。
• 识别并量化主流序列到序列架构中的归纳偏置（如对记忆、算术、层次化或组合性推理的偏好）。
• 基于索洛莫夫归纳理论，提出并验证一种原则性且敏感的归纳偏置度量方法——描述长度。
• 比较LSTM、Transformer和基于CNN的序列到序列模型在多种推理模式下的泛化行为。

提出的方法

• 设计四项新合成任务：Count-or-Memorization（计数或记忆）、Add-or-Multiply（加法或乘法）、Hierarchical-or-Linear（层次化或线性）、Composition-or-Memorization（组合或记忆），每项任务均包含模糊的训练数据和不同的泛化模式。
• 使用完美一致分数（FPA）衡量模型按特定规则泛化的频率，FPA越高表示对某类规则的偏置越强。
• 提出描述长度（L）作为原则性归纳偏置度量，定义为在给定规则下模型预测的描述长度，值越低表示偏置越强。
• 通过示例数量对描述长度进行归一化，以追踪学习速度和偏置获取过程，实现对偏置演化过程的分析。
• 在每项任务上使用20组随机种子训练多种模型（LSTM、Transformer、CNN），并比较不同架构和设置下的FPA与描述长度。
• 对候选规则之间的描述长度差异进行配对t检验，以评估统计显著性。

实验结果

研究问题

• RQ1 当在高模糊性的任务中仅使用一个训练样本进行训练时，序列到序列模型如何泛化？
• RQ2 LSTM、Transformer和基于CNN的序列到序列模型表现出哪些归纳偏置（记忆、算术、层次化或组合性推理）？
• RQ3 描述长度能否作为序列模型中归纳偏置的敏感且原则性度量？
• RQ4 不同架构学习偏好某种泛化类型的速度如何？

主要发现

• 基于LSTM的模型可从最少一个训练样本中学习到非平凡的算术规则（如计数、加法、常数乘法）。
• Transformer和基于LSTM的模型表现出对层次化泛化的强烈偏好，而基于CNN的模型则偏好线性泛化。
• 当提供足够多的复合示例时，基于CNN的模型表现出对组合性泛化的偏置，表现为更低的描述长度。
• Transformer表现出显著的记忆偏置，其记忆规则的描述长度显著低于组合规则。
• 描述长度被证明是归纳偏置的敏感且可靠的度量，不同模型类型和泛化规则之间存在统计显著差异。
• 联合源-目标自注意力模型的归纳偏置与标准Transformer模型高度相似，表明注意力机制之间具有一致性。