[论文解读] Semantic vector space models predict neural responses to complex visual stimuli

Umut Güçlü, Marcel van Gerven|arXiv (Cornell University)|Oct 15, 2015

Neural dynamics and brain function参考文献 8被引用 17

一句话总结

本研究证明，语义向量空间模型——特别是Word2Vec和GloVe等词嵌入模型——能够准确预测人类视觉皮层对复杂视觉刺激的神经反应，尤其在高级视觉区域表现突出。研究结果表明，从大规模语言数据中提取的分布式、连续的语义表征，其预测fMRI反应的表现优于低层次特征模型，揭示了语言语义与视觉信息神经编码之间的强关联。

ABSTRACT

Encoding models have as their objective to predict neural responses to naturalistic stimuli with the aim of elucidating how sensory information is represented in the brain. This prediction is achieved by representing the stimulus in terms of a suitable feature space and using this feature space to linearly predict observed neural responses. Here, we investigate to what extent semantic vector space models can be used to predict neural responses to complex visual stimuli. We show that these models provide good predictions of neural responses in downstream visual areas, improving significantly over a low-level control model based on Gabor wavelet pyramids. The outlined approach provides a new way to model and map high-level semantic representations across cortex.

研究动机与目标

• 探究语义向量空间模型是否能够预测大脑对自然主义视觉刺激的神经反应。
• 评估分布式、连续的词嵌入在多大程度上反映了人脑中的神经表征。
• 比较语义嵌入模型与低层次视觉特征模型（如Gabor小波金字塔）的预测能力。
• 绘制语义表征在视觉处理层级中的皮层分布。
• 探索词嵌入作为解码脑活动高阶语义内容工具的潜力。

提出的方法

• 从自然主义fMRI数据集中选取图像，并由人工标注每个刺激引发的首个联想词汇。
• 使用预训练的Word2Vec（300D，Google News）和GloVe（多种维度，基于Wikipedia和Twitter数据集）提取词嵌入。
• 对于每张图像，以其关联标签的嵌入向量作为特征向量，用于预测单个体素的fMRI反应幅度。
• 训练线性编码模型，以词嵌入作为输入特征，预测体素反应。
• 通过视觉区域（V1–V4、LO及V1–LO前方区域）的基于相关性的编码准确率评估模型性能。
• 将性能与基于Gabor小波金字塔（GWP）的低层次控制模型进行比较。

实验结果

研究问题

• RQ1 语义向量空间模型（如Word2Vec和GloVe）能否预测人脑对复杂视觉刺激的神经反应？
• RQ2 语义嵌入的预测能力在视觉处理层级中如何变化，从早期到高级视觉区域？
• RQ3 语义嵌入是否在预测自然图像的神经反应方面优于低层次视觉特征模型？
• RQ4 语义表征在皮层表面的分布程度如何，特别是在腹侧颞叶皮层？
• RQ5 词嵌入能否作为大脑中高阶语义表征的代理？

主要发现

• Word2Vec模型（300D，Google News）在外侧枕叶复合体（LO）中实现了最高的平均编码性能（0.2672），显著优于所有其他测试模型。
• 最佳模型（Word2Vec）的显著体素比例从V3的3.4%增加至LO的19.1%，表明高级视觉区域中语义表征更强。
• 在高级视觉区域（V3A、V3B、LO及V1–LO前方区域），W2V模型显著优于Gabor小波金字塔（GWP）控制模型，所有比较的p值均小于0.001。
• W2V模型的54.9%显著体素位于V1–LO前方区域，其平均预测准确率为0.2657，表明腹侧颞叶区域具有显著的语义调谐特性。
• 在所有测试模型中，Google News数据集的300D Word2Vec嵌入在整体编码性能上表现最佳，证实其在神经预测中的稳健性。
• 本研究首次提供了证据，表明从语言模型中衍生的连续、分布式语义向量空间能够预测复杂视觉刺激的神经反应，揭示了语言语义与人脑神经编码之间的关联。