[论文解读] Understanding language-elicited EEG data by predicting it from a fine-tuned language model

Dan Schwartz, Tom M. Mitchell|arXiv (Cornell University)|Apr 2, 2019

Neurobiology of Language and Bilingualism参考文献 30被引用 4

一句话总结

本文提出了一种新颖方法，通过微调预训练语言模型来从脑活动预测事件相关电位（ERPs），从而理解语言诱发的EEG反应。这是首次证明，此前被认为仅能部分预测的六个主要ERP成分——N400、EPNP、PNP、P600、LAN和ELAN——均可从语言模型嵌入中预测得出，通过联合多任务训练揭示了新的关系，尤其是句法（LAN/P600、ELAN/P600）与语义（N400/EPNP/PNP）成分之间的关联。

ABSTRACT

Electroencephalography (EEG) recordings of brain activity taken while participants read or listen to language are widely used within the cognitive neuroscience and psycholinguistics communities as a tool to study language comprehension. Several time-locked stereotyped EEG responses to word-presentations -- known collectively as event-related potentials (ERPs) -- are thought to be markers for semantic or syntactic processes that take place during comprehension. However, the characterization of each individual ERP in terms of what features of a stream of language trigger the response remains controversial. Improving this characterization would make ERPs a more useful tool for studying language comprehension. We take a step towards better understanding the ERPs by fine-tuning a language model to predict them. This new approach to analysis shows for the first time that all of the ERPs are predictable from embeddings of a stream of language. Prior work has only found two of the ERPs to be predictable. In addition to this analysis, we examine which ERPs benefit from sharing parameters during joint training. We find that two pairs of ERPs previously identified in the literature as being related to each other benefit from joint training, while several other pairs of ERPs that benefit from joint training are suggestive of potential relationships. Extensions of this analysis that further examine what kinds of information in the model embeddings relate to each ERP have the potential to elucidate the processes involved in human language comprehension.

研究动机与目标

• 通过将事件相关电位（ERPs）与语言输入特征关联，改进语言理解中ERPs的表征。
• 研究语言模型嵌入是否能够预测由口语或书面语诱发的神经反应（ERPs）。
• 探讨在多个ERP成分上联合训练如何揭示潜在的认知关系。
• 确定双向语言模型是否在预测ERP反应方面优于单向模型。
• 检查行为数据（眼动追踪、自定速阅读）是否可在多任务学习设置中与ERP数据联合学习，以提升预测性能。

提出的方法

• 微调一个预训练的双向Transformer语言模型（如BERT），从词级语言输入预测六个ERP成分。
• 采用多任务学习框架，使模型同时预测多个ERP成分，并在任务间共享表示。
• 在Frank等人（2015）提供的词对词语言刺激与对应ERP振幅的数据集上进行训练。
• 比较双向与单向语言模型变体在预测ERP成分方面的性能。
• 在多任务学习设置中将行为数据（眼动追踪、自定速阅读）作为辅助信号，以提升ERP预测性能。
• 分析学习到的表示，识别模型嵌入中与每个ERP成分相关的语言特征。

实验结果

研究问题

• RQ1 尽管先前研究仅表明其中两个ERP成分可预测，微调后的语言模型是否能从语言输入中预测全部六个主要ERP成分？
• RQ2 哪些ERP成分从联合训练中受益，这对其潜在认知关系有何启示？
• RQ3 为何双向语言模型在预测ERP反应方面优于单向模型？
• RQ4 当在多任务学习设置中使用时，行为数据（如眼动追踪、阅读时间）是否能改善ERP预测？
• RQ5 模型隐藏表示中的哪些语言特征对每个ERP成分最具预测力？

主要发现

• 所有六个ERP成分——N400、EPNP、PNP、P600、LAN和ELAN——均可从语言模型嵌入中预测，扩展了先前仅能预测其中两个成分的研究发现。
• 联合训练显著提升了特定ERP对的预测性能，包括LAN+P600和ELAN+P600，这些成分此前已被识别为具有认知关联。
• 双向模型在预测ERP反应方面优于单向模型，表明未来上下文信息有助于建模脑活动。
• 在多任务学习中整合行为数据（眼动追踪、自定速阅读）可提升ERP预测性能，表明神经信号与行为信号间存在共享表征。
• 该模型揭示了先前未知的ERP关系，例如EPNP与PNP在联合训练中表现提升，提示可能存在潜在的功能联系。
• 结果表明，ERP成分并非孤立的标记，而是通过联合表征学习揭示的共享语言与认知过程共同塑造的。