[论文解读] The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction

Pratyusha Sharma, Jordan T. Ash+1 more|arXiv (Cornell University)|Dec 21, 2023

Topic Modeling被引用 8

一句话总结

LASER 在训练后对特定 Transformer 权重矩阵 selectively 去除高阶奇异分量，通常在不需要额外数据或训练的情况下提升多项基准的推理准确性。

ABSTRACT

Transformer-based Large Language Models (LLMs) have become a fixture in modern machine learning. Correspondingly, significant resources are allocated towards research that aims to further advance this technology, typically resulting in models of increasing size that are trained on increasing amounts of data. This work, however, demonstrates the surprising result that it is often possible to significantly improve the performance of LLMs by selectively removing higher-order components of their weight matrices. This simple intervention, which we call LAyer-SElective Rank reduction (LASER), can be done on a model after training has completed, and requires no additional parameters or data. We show extensive experiments demonstrating the generality of this finding across language models and datasets, and provide in-depth analyses offering insights into both when LASER is effective and the mechanism by which it operates.

研究动机与目标

• 证明选择性、训练后秩约简可以提升 Transformer 在推理任务上的表现。
• 确定哪些层和矩阵类型最受秩约简影响。
• 分析训练数据频率与 LASER 收益之间的关系。
• 在模型、数据集和模态之间证明普适性。

提出的方法

• 用 SVD 将 Transformer 层的权重矩阵 W 表示为 W = U Σ Vᵀ。
• 用前 k 个奇异向量构成的秩-k近似 W_LR 替换所选矩阵。
• 用 (τ, ℓ, ρ) 定义 LASER 干预，表示矩阵类型、层和要保留的秩比。
• 在可选干预（及其组合）上搜索，以在验证集上最大化性能。
• 在多个数据集和模型上评估，以评估收益的普适性和鲁棒性。

实验结果

研究问题

• RQ1 针对性、训练后低秩近似特定权重矩阵是否在不重新训练的情况下提升 LLM 推理能力？
• RQ2 哪些层类型（如 MLP 与注意力）以及哪些层最有利于 LASER？
• RQ3 训练数据频率与 LASER 收益之间的关系是什么？
• RQ4 LASER 干预如何影响对同义改写和其他语言扰动的鲁棒性？

主要发现

• 秩约简可应用于许多权重矩阵，几乎不产生降级；后层的 MLP 权重通常带来最大的收益。
• 在 CounterFact 上，单层 LASER 将 top-1 准确率从 13.3% 提升到 24.1%（GPT-J 6B），无需重新训练。
• 将 LASER 干预在多层之间组合可进一步提升（如 CounterFact 的 top-10 准确率从 24.0% 提升至 29.2%）。
• 对训练数据中低频事实的改进最为显著，表明存在去噪效应，能够显现出弱学习的信息。
• 高阶分量往往编码通用的高频词或备选答案；移除它们可减少内部冲突并提高正确性。
• LASER 效应在模型（Roberta、GPT-J、LLaMA2）和任务（QA、推理基准）中具有普适性，甚至扩展到非文本领域（Sokoban 的 Decision Transformer）。
• 在某些设置中，同义改写的鲁棒性通过 LASER 提升约 25 个百分点。