[论文解读] Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity?

Subba Reddy Oota, Jashn Arora+4 more|arXiv (Cornell University)|May 3, 2022

Neurobiology of Language and Bilingualism参考文献 50被引用 24

一句话总结

本研究调查了微调后的Transformer模型中哪些特定任务的NLP表征最能预测阅读和听觉语境下的fMRI脑部活动。通过在10项NLP任务的特征上应用岭回归，研究发现共指消解、命名实体识别（NER）和浅层句法解析在预测阅读相关脑部活动方面表现最佳，而释义生成、摘要生成和自然语言推理任务在预测听觉语境下的脑部活动方面表现更优，揭示了不同模态下神经编码模式的差异。

ABSTRACT

Several popular Transformer based language models have been found to be successful for text-driven brain encoding. However, existing literature leverages only pretrained text Transformer models and has not explored the efficacy of task-specific learned Transformer representations. In this work, we explore transfer learning from representations learned for ten popular natural language processing tasks (two syntactic and eight semantic) for predicting brain responses from two diverse datasets: Pereira (subjects reading sentences from paragraphs) and Narratives (subjects listening to the spoken stories). Encoding models based on task features are used to predict activity in different regions across the whole brain. Features from coreference resolution, NER, and shallow syntax parsing explain greater variance for the reading activity. On the other hand, for the listening activity, tasks such as paraphrase generation, summarization, and natural language inference show better encoding performance. Experiments across all 10 task representations provide the following cognitive insights: (i) language left hemisphere has higher predictive brain activity versus language right hemisphere, (ii) posterior medial cortex, temporo-parieto-occipital junction, dorsal frontal lobe have higher correlation versus early auditory and auditory association cortex, (iii) syntactic and semantic tasks display a good predictive performance across brain regions for reading and listening stimuli resp.

研究动机与目标

• 确定微调后的Transformer模型中哪些特定任务的NLP表征在语言处理过程中最有效地预测fMRI脑部活动。
• 比较句法和语义NLP任务在预测阅读与听觉刺激下脑部反应方面的预测能力。
• 通过将特定任务的表征与fMRI体素活动关联，揭示脑网络组织的认知机制。
• 在先前任务无关预训练工作的基础上，探索特定任务微调如何影响神经编码性能。

提出的方法

• 在10项不同的NLP任务上微调Transformer模型：两项句法任务（浅层句法解析、词义消歧）和八项语义任务（共指消解、命名实体识别、释义检测、问答、摘要生成、自然语言推理、情感分析、情感分析）。
• 从每个微调模型的最终层提取特定任务的句子级表征，作为脑部编码模型的输入。
• 应用岭回归，将特定任务的表征映射到整个大脑的fMRI体素活动，使用两个数据集：Pereira（阅读句子）和Narratives-Pieman（听故事）。
• 使用平均绝对误差（MAE）和预测值与实际fMRI反应之间的皮尔逊相关系数评估模型性能。
• 生成脑部区域的预测误差（MAE）和相关系数图，以可视化特定任务的预测能力。
• 在关键语言网络区域（如LMTG、PMC、TPOJ）进行子ROI分析，以识别对特定NLP任务最敏感的脑区。

实验结果

研究问题

• RQ1 在阅读文本过程中，哪些NLP任务产生的表征对fMRI脑部活动具有最强预测力？
• RQ2 在听觉叙事任务中，哪些NLP任务能实现最高的编码准确度？
• RQ3 句法与语义任务表征在预测不同脑区活动方面的能力有何差异？
• RQ4 哪些脑区与特定任务的NLP特征具有最强相关性，且这种相关性在阅读与听觉模态之间如何变化？

主要发现

• 在阅读过程中，共指消解、命名实体识别（NER）和浅层句法解析产生的平均绝对误差（MAE）最低，表明其在该模态下具有更强的预测能力。
• 在听觉任务中，释义检测、摘要生成和自然语言推理（NLI）表现出最低的MAE值，优于其他任务，在预测听觉叙事的脑部反应方面表现更优。
• 左半球语言网络，特别是左侧颞上回后部（LPTG）和中颞 gyrus（LMTG），在阅读和听觉任务中均表现出比右半球更高的预测准确度。
• 后内侧皮层（PMC）、颞顶枕联合区（TPOJ）以及背侧额叶区域与预测活动的相关系数高于初级听觉皮层和听觉联合皮层（EAC/AAC）。
• 子ROI分析显示，LMTG和LPTG区域对共指消解特征的预测精度高于语言网络中的其他子区域，而PMC和TPOJ区域则与释义检测特征表现出强相关性。
• 本研究发现，与通用预训练相比，对Transformer进行特定任务微调可显著提升脑部编码性能，且阅读与听觉模态各自存在最优的特定任务。