[论文解读] Training language models to summarize narratives improves brain alignment

Khai Loong Aw, Mariya Toneva|arXiv (Cornell University)|Dec 21, 2022

Topic Modeling被引用 11

一句话总结

本论文表明，在叙事摘要任务上微调语言模型可显著提升其与人类大脑活动的一致性，尤其在与语言理解相关的脑区表现明显。这种改进在角色表征方面最为显著，表明其理解深度已超越单纯的下一个词预测。

ABSTRACT

Building systems that achieve a deeper understanding of language is one of the central goals of natural language processing (NLP). Towards this goal, recent works have begun to train language models on narrative datasets which require extracting the most critical information by integrating across long contexts. However, it is still an open question whether these models are learning a deeper understanding of the text, or if the models are simply learning a heuristic to complete the task. This work investigates this further by turning to the one language processing system that truly understands complex language: the human brain. We show that training language models for deeper narrative understanding results in richer representations that have improved alignment to human brain activity. We further find that the improvements in brain alignment are larger for character names than for other discourse features, which indicates that these models are learning important narrative elements. Taken together, these results suggest that this type of training can indeed lead to deeper language understanding. These findings have consequences both for cognitive neuroscience by revealing some of the significant factors behind brain-NLP alignment, and for NLP by highlighting that understanding of long-range context can be improved beyond language modeling.

研究动机与目标

• 探究在叙事摘要任务上训练语言模型是否能带来更深层次的语言理解，而不仅仅是特定任务的启发式方法。
• 评估与人类fMRI响应的对齐程度提升是否表明语言模型具备真正的认知层面理解。
• 确定观察到的脑对齐改进是源于更深层次的上下文理解，而非语言建模能力的增强。
• 识别哪些语篇特征（如角色、情绪、动作）在叙事摘要微调后脑对齐提升最为显著。

提出的方法

• 在BookSum数据集上微调四个基础语言模型（BART、LED、BigBird、LongT5），以提升叙事理解能力。
• 利用8名参与者阅读5176词《哈利·波特》章节时的fMRI记录，比较基础模型与booksum微调模型的脑对齐表现。
• 使用线性编码模型从模型表征预测fMRI响应，通过20v20指标衡量对齐程度。
• 在不同输入序列长度（最长1000词）和模型层面上评估对齐表现，以识别改进发生的位置。
• 开展消融研究，以分离语言建模能力与叙事理解对脑对齐的独立贡献。
• 应用FDR校正的配对t检验和噪声天花板估计，以验证结果的统计显著性与可解释性。

实验结果

研究问题

• RQ1 在叙事摘要任务上微调语言模型是否能提升其在故事理解过程中与人类大脑活动的一致性？
• RQ2 观察到的脑对齐改进是源于语言建模能力的增强，还是更深层次的叙事理解？
• RQ3 在叙事摘要微调后，哪些语篇特征（如角色、情绪、动作）在脑对齐方面提升最为显著？
• RQ4 在不同模型架构中，脑对齐改进在哪些层和输入长度下达到峰值？
• RQ5 角色表征的脑对齐提升是由于相关fMRI时间点数量更多，还是真正的表征增益？

主要发现

• 所有测试模型与参与者的booksum微调模型均表现出显著高于基础模型的脑对齐表现，对齐程度在500词序列长度时达到噪声天花板的98%。
• 脑对齐随输入序列变长而提升，在500词时达到最优性能，表明长上下文整合对深层理解至关重要。
• 脑对齐的改进在角色表征方面最为显著，相比情绪与动作，其对齐增益相对提升了24%。
• 对于LongT5模型，脑对齐增益主要出现在中间和后期层（第12至24层），表明存在分层表征学习。
• 即使在控制不同语篇特征时间点数量不均等的情况下，角色表征仍表现出最大改进，确认其非统计性偏差。
• 研究发现语言建模性能与脑对齐之间无显著相关性，表明对齐提升源于叙事理解，而非下一个词预测能力。