[论文解读] Structural Similarities Between Language Models and Neural Response Measurements

Jiaang Li, Antonia Karamolegkou+4 more|arXiv (Cornell University)|Jun 2, 2023

Topic Modeling参考文献 42被引用 4

一句话总结

本论文表明，随着大型语言模型（LLMs）参数规模的增大，其内部词表示的结构逐渐与语言理解过程中通过fMRI测量得到的神经响应模式趋于相似。通过岭回归、表示相似性分析（RSA）和Procrustes分析，作者发现LLMs在从fMRI数据解码词语时，精确率最高可达25%（P@10），显著高于随机基线水平，表明人工与人类神经语言表征之间存在强烈的几何对齐。

ABSTRACT

Large language models (LLMs) have complicated internal dynamics, but induce representations of words and phrases whose geometry we can study. Human language processing is also opaque, but neural response measurements can provide (noisy) recordings of activation during listening or reading, from which we can extract similar representations of words and phrases. Here we study the extent to which the geometries induced by these representations, share similarities in the context of brain decoding. We find that the larger neural language models get, the more their representations are structurally similar to neural response measurements from brain imaging. Code is available at \url{https://github.com/coastalcph/brainlm}.

研究动机与目标

• 探究大型语言模型（LLMs）的表征几何结构是否与语言处理过程中的人类神经响应对齐。
• 确定模型规模增大是否增强LLM表征与fMRI测量脑活动之间的结构相似性。
• 评估利用基于LLM的表征从fMRI信号中解码语言概念的可行性。
• 探讨这种对齐在哲学与认知层面的含义，特别是关于语义基础的问题。
• 评估模型深度在实现与人类神经表征更好对齐中的作用。

提出的方法

• 本研究将三种LLM系列（包括BERT）及一种静态词嵌入方法的词表示，与两个公开可用数据集（《哈利·波特》和《自然故事》数据集）的fMRI数据进行比较。
• 采用表示相似性分析（RSA）量化LLM与fMRI表征空间之间的几何相似性。
• 应用岭回归从LLM表征预测fMRI响应，通过精确率@k（P@k）评估解码性能。
• 当维度匹配（d = d’）时，使用Procrustes分析评估LLM与fMRI表征之间的同构性。
• 对fMRI数据应用高斯平滑以降低噪声并提高信噪比。
• 在多个模型规模和网络层上进行分析，以评估深度相关的对齐趋势。

Figure 1: Experimental flow and main results. We run experiments with three families of LLMs (comparing LLMs of different sizes within families), two fMRI datasets, and three projection algorithms, and results are the same across all combinations: LLMs converge toward human-like representations, ena

实验结果

研究问题

• RQ1 大型语言模型的表征几何结构在多大程度上与人类神经响应在语言理解过程中的结构相似？
• RQ2 模型规模增大如何影响LLM表征与fMRI测量脑活动之间结构相似性的变化？
• RQ3 LLM与神经表征之间的对齐是否随模型深度提升而改善，特别是在深层网络中？
• RQ4 能否利用LLM表征实现从fMRI信号中的词语级解码？其性能与随机基线相比如何？
• RQ5 观察到的人工与生物语言表征之间同构性的哲学意义是什么？

主要发现

• 最大规模的LLMs在从fMRI信号解码词语时，精确率@10（P@10）最高可达25%，远超小于1%的随机基线水平。
• 在所研究的三个LLM系列中，LLM表征与fMRI响应之间的结构相似性随模型规模增大而持续增强。
• LLM的深层网络表现出更强的与人类神经表征的对齐性，且该提升趋势未出现平台期，表明深度增加仍能带来进一步改善。
• 该对齐在两个不同的fMRI数据集上均表现稳健，并通过三种评估方法（岭回归、RSA、Procrustes分析）得到验证。
• 观察到的同构性并非偶然，因其特异性地对齐了LLM与fMRI表征的最近邻图结构，支持了语义基础存在的观点。
• 结果表明，LLMs中的语义与语用表征与人类大脑响应尤其对齐，而早期层中的句法表征则表现出较弱的对应关系。

Figure 2: Convergence Results for Three Families of Language Models on Two Datasets . The task for Harry Potter dataset here is: Given a neural response, which word in a vocabulary of 1,291 words, was read at the time the response was recorded? Random retrieval baseline P@10 is less than $1\%$ , whi