[论文解读] Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps

Alexandre Pasquiou, Yair Lakretz+3 more|arXiv (Cornell University)|Jul 7, 2022

Topic Modeling被引用 8

一句话总结

本研究调查了神经语言模型（NLM）架构、训练、困惑度以及训练数据如何影响在听有声读物时预测fMRI脑部活动的能力。研究发现，尽管未经训练的LSTM模型由于上下文敏感度较低而优于Transformer模型，但训练能普遍提升所有架构的脑部评分，尤其对Transformer模型提升显著；困惑度并非脑部拟合的可靠预测指标，且仅在有限数据上训练的现成模型缺乏检测脑部激活的统计功效。

ABSTRACT

Neural Language Models (NLMs) have made tremendous advances during the last years, achieving impressive performance on various linguistic tasks. Capitalizing on this, studies in neuroscience have started to use NLMs to study neural activity in the human brain during language processing. However, many questions remain unanswered regarding which factors determine the ability of a neural language model to capture brain activity (aka its 'brain score'). Here, we make first steps in this direction and examine the impact of test loss, training corpus and model architecture (comparing GloVe, LSTM, GPT-2 and BERT), on the prediction of functional Magnetic Resonance Imaging timecourses of participants listening to an audiobook. We find that (1) untrained versions of each model already explain significant amount of signal in the brain by capturing similarity in brain responses across identical words, with the untrained LSTM outperforming the transformerbased models, being less impacted by the effect of context; (2) that training NLP models improves brain scores in the same brain regions irrespective of the model's architecture; (3) that Perplexity (test loss) is not a good predictor of brain score; (4) that training data have a strong influence on the outcome and, notably, that off-the-shelf models may lack statistical power to detect brain activations. Overall, we outline the impact of modeltraining choices, and suggest good practices for future studies aiming at explaining the human language system using neural language models.

研究动机与目标

• 调查哪些因素——模型架构、训练、困惑度或训练数据——最能影响神经语言模型在自然语言处理过程中预测fMRI时间序列的能力。
• 评估未经训练的模型是否已能捕捉有意义的脑信号，特别是对重复词语的响应相似性。
• 评估困惑度（测试损失）是否能可靠预测模型在拟合脑部活动方面的成功。
• 确定现成模型（如仅在维基百科上训练的模型）是否具备足够的统计功效来检测脑部激活。
• 识别在神经影像学研究中使用NLM建模人类语言处理的最佳实践。

提出的方法

• 在参与者听《小王子》有声读物的fMRI数据上，对四种NLM架构——GloVe、LSTM、GPT-2和BERT——进行训练与评估。
• 将每种模型的未经训练版本（使用随机或固定嵌入）与完全微调的版本进行对比，以隔离训练的影响。
• 通过线性模型预测神经反应，将脑部评分定义为模型激活与fMRI时间序列在脑区中的相关性。
• 在训练各周期中追踪困惑度与脑部评分，以评估模型收敛过程中的二者关系。
• 使用多样化的训练语料，包括大规模语料和仅维基百科语料，以评估数据对模型性能的影响。
• 在不同模型和训练条件下进行统计比较，以识别训练后预测能力一致提升的脑区。

实验结果

研究问题

• RQ1 未经训练的神经语言模型是否已能解释fMRI脑部活动中的显著方差，且其性能在不同架构间是否存在差异？
• RQ2 训练是否能一致地提升模型预测脑部活动的能力，无论其架构如何？
• RQ3 困惑度是否能作为不同架构和训练阶段下模型脑部评分的可靠预测指标？
• RQ4 训练语料的规模和类型如何影响模型拟合脑数据的能力，尤其是现成模型？
• RQ5 哪些脑区在不同模型类型和训练条件下表现出预测能力的一致性提升？

主要发现

• 未经训练的LSTM模型在预测fMRI响应方面优于未经训练的Transformer模型和GloVe，可能是因为其上下文敏感度较低且词表示更稳定。
• 训练显著提升了所有模型架构的脑部评分，且同一组脑区在微调后始终表现出更好的预测能力。
• 困惑度并非脑部评分的可靠预测指标；困惑度较低的模型并不一定获得更高的脑部评分。
• 仅在维基百科上训练的现成模型缺乏足够的统计功效来检测脑部激活，凸显了训练数据质量和规模的重要性。
• 训练后持续改善的脑区网络与核心语言区域（IFG、STS）以及默认模式网络（楔前角、背内侧前额叶皮层）重叠，提示其在依赖上下文的语言处理中发挥作用。
• 尽管初始性能较低，但基于Transformer的模型（GPT-2、BERT）从训练中获益更多，最终在脑部评分预测方面超越LSTM模型。