[论文解读] Revealing the structure of language model capabilities

Ryan Burnell, Han Hao+2 more|arXiv (Cornell University)|Jun 14, 2023

Topic Modeling被引用 6

一句话总结

该论文通过在27项任务上对29个大语言模型（LLM）进行因子分析，揭示了大语言模型（LLM）能力沿着三个截然不同的潜在因子——推理、理解与核心语言建模——而结构化。研究结果表明，这些因子解释了大部分性能差异，并与模型规模和指令微调等模型属性表现出差异化的关联，暗示了能力发展中的权衡关系。

ABSTRACT

Building a theoretical understanding of the capabilities of large language models (LLMs) is vital for our ability to predict and explain the behavior of these systems. Here, we investigate the structure of LLM capabilities by extracting latent capabilities from patterns of individual differences across a varied population of LLMs. Using a combination of Bayesian and frequentist factor analysis, we analyzed data from 29 different LLMs across 27 cognitive tasks. We found evidence that LLM capabilities are not monolithic. Instead, they are better explained by three well-delineated factors that represent reasoning, comprehension and core language modeling. Moreover, we found that these three factors can explain a high proportion of the variance in model performance. These results reveal a consistent structure in the capabilities of different LLMs and demonstrate the multifaceted nature of these capabilities. We also found that the three abilities show different relationships to model properties such as model size and instruction tuning. These patterns help refine our understanding of scaling laws and indicate that changes to a model that improve one ability might simultaneously impair others. Based on these findings, we suggest that benchmarks could be streamlined by focusing on tasks that tap into each broad model ability.

研究动机与目标

• 为了发展对大语言模型（LLM）能力潜在结构的理论理解，超越单一的整体性能指标。
• 为了探究是否可以基于实证数据，将大语言模型能力分解为一组少量的、可解释的认知潜在因子。
• 为了考察模型属性（如规模和指令微调）如何差异化地影响这些不同能力。
• 为了通过识别核心能力，为设计更高效且理论基础更坚实的评估基准提供支持。
• 为了鼓励公开发布基准评估数据，以支持未来对大语言模型能力的研究。

提出的方法

• 对来自HELM基准中29个大语言模型在27项认知任务上的性能数据，应用了贝叶斯与频率学派因子分析。
• 任务选自HELM数据集，涵盖多样化的认知需求，包括推理、理解与语言建模。
• 通过任务注释引导，提取潜在因子以解释模型在各项任务中性能的方差。
• 将模型属性（如规模和指令微调）与提取出的因子进行回归分析，以评估其差异化影响。
• 该分析采用数据驱动、自下而上的方法，灵感源自人类认知科学中使用的心理测量方法。
• 通过模型拟合指数与可解释性检查对结果进行验证，重点关注任务聚类与因子载荷。

实验结果

研究问题

• RQ1 大语言模型在多样化认知任务中的性能，其潜在的结构化因子是什么？
• RQ2 模型属性（如规模和指令微调）如何差异化地影响推理、理解与语言建模能力？
• RQ3 这三种因子在多大程度上解释了大语言模型在各项任务中性能的方差？
• RQ4 在修改模型属性（如增加模型规模或应用指令微调）时，是否存在能力之间的权衡？
• RQ5 通过聚焦于这些核心能力的任务，能否实现基准设计的简化？

主要发现

• 三个截然不同的潜在因子——推理、理解与核心语言建模——最能解释27项任务中大语言模型性能的方差。
• 这三个因子共同解释了模型性能总方差的很大比例，表明存在一致的潜在结构。
• 模型规模与理解能力呈正相关，但相关强度在不同能力中差异显著，表明理解能力对规模更敏感。
• 指令微调与语言建模能力呈负相关，但与推理能力呈正相关，表明存在能力之间的权衡。
• 结果表明，缩放法则在不同能力间并非一致，某一能力的提升可能以另一能力的下降为代价。
• 研究结果支持需要开发新型基准范式，以更清晰地隔离特定认知能力，超越当前的任务格式。