[论文解读] Trapped by simplicity: When Transformers fail to learn from noisy features

Evan Peters, Ando Deng+3 more|arXiv (Cornell University)|Feb 9, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

Transformers 在稀疏奇偶性和奇数稀疏多数函数的噪声鲁棒学习上表现良好，但由于其简单性偏差，对随机 k- juntas 的学习通常失败；在训练中引入高灵敏度惩罚有助于摆脱陷阱。

ABSTRACT

Noise is ubiquitous in data used to train large language models, but it is not well understood whether these models are able to correctly generalize to inputs generated without noise. Here, we study noise-robust learning: are transformers trained on data with noisy features able to find a target function that correctly predicts labels for noiseless features? We show that transformers succeed at noise-robust learning for a selection of $k$-sparse parity and majority functions, compared to LSTMs which fail at this task for even modest feature noise. However, we find that transformers typically fail at noise-robust learning of random $k$-juntas, especially when the boolean sensitivity of the optimal solution is smaller than that of the target function. We argue that this failure is due to a combination of two factors: transformers' bias toward simpler functions, combined with an observation that the optimal function for noise-robust learning typically has lower sensitivity than the target function for random boolean functions. We test this hypothesis by exploiting transformers' simplicity bias to trap them in an incorrect solution, but show that transformers can escape this trap by training with an additional loss term penalizing high-sensitivity solutions. Overall, we find that transformers are particularly ineffective for learning boolean functions in the presence of feature noise.

研究动机与目标

• 研究 transformers 是否能够从带有特征噪声的训练数据中学习目标布尔函数。
• 比较 transformers 与 LSTMs 在奇偶性、多数性和随机 juntas 上的噪声鲁棒学习性能。
• 理解 transformers 在噪声鲁棒学习中的成败原因，并识别如函数简单性和灵敏度等因素。
• 探索缓解简单性偏差以改进从嘈杂特征中学习的方法。

提出的方法

• 对二进制输入任务使用 iid 位翻转噪声对自注意力网络（SANs）和 LSTMs 进行建模和训练。
• 在稀疏多数和奇偶性函数以及随机 k-juntas 上，在多组超参数设置和随机初始化下评估学习。
• 量化无噪声情形下的泛化误差和含噪声特征的泛化误差，以评估噪声鲁棒学习。
• 通过灵敏度分析函数简单性，并比较 f 和 f_N^*（最优含噪声预测器）在函数类中的表现差异。
• 进行受控陷阱函数实验，并测试一种抑制高灵敏度解的损失惩罚以研究潜在的 remedy。

实验结果

研究问题

• RQ1 变压器是否能从带噪声输入特征中学习出 parity 和 majority 任务的基础布尔函数？
• RQ2 在函数类之间，transformers 是否在噪声鲁棒学习上优于或劣于 LSTMs，体现出简单性偏差？
• RQ3 在何种条件下，最优含噪声预测器的灵敏度低于目标函数，并且这如何影响学习？
• RQ4 在损失中加入对高灵敏度解的惩罚是否有助于 transformers 逃离学习陷阱并改善噪声鲁棒学习？

主要发现

• Transformers 在带噪声特征的情况下，以较高的概率可靠地学习 parity 和奇数长度稀疏多数，且在这些任务上胜过 LSTMs。
• Transformers 在随机 k-juntas 的噪声鲁棒学习通常失败，尤其当目标函数的灵敏度高于最优含噪声预测器的灵敏度时。
• 含噪声数据的最优预测器（f_N^*）通常具有低于任意布尔函数的平均灵敏度，从而在用带噪声数据训练时将 transformers 引向次优解。
• transformers 可能被一个在带噪声验证数据上表现相近的错误函数所困，但加入惩罚高灵敏度解的损失项可以帮助它们脱离陷阱。
• LSTMs 在噪声鲁棒学习方面也有困难，但原因不同，包括过拟合和缺乏简单性偏差。
• 总体而言，在特征噪声存在时，transformers 对学习布尔函数尤其无效。