[论文解读] Perceptual similarity of visual patterns predicts the similarity of their dynamic neural activation patterns measured with MEG

Susan G. Wardle, Nikolaus Kriegeskorte+3 more|arXiv (Cornell University)|Jun 7, 2015

Visual perception and processing mechanisms参考文献 52被引用 4

一句话总结

本研究表明，抽象视觉图案的知觉相似性强烈预测了人类大脑中其动态神经激活模式的相似性，该结果通过脑磁图（MEG）测量得出。采用基于吉布斯斑块的刺激，其具有独特的整体形态，研究发现早期神经反应受视网膜拓扑组织驱动，但在刺激后80毫秒时，知觉相似性成为神经表征相似性的最强预测因子，其相关性达到神经数据测量的噪声上限。

ABSTRACT

Perceptual similarity is a cognitive judgment that represents the end-stage of a complex cascade of hierarchical processing throughout visual cortex. Previous studies have shown a correspondence between the similarity of coarse-scale fMRI activation patterns and the perceived similarity of visual stimuli, suggesting that visual objects that appear similar also share similar underlying patterns of neural activation. Here we explore the temporal relationship between the human brain's time-varying representation of visual patterns and behavioral judgments of perceptual similarity. The visual stimuli were abstract patterns constructed from identical perceptual units (oriented Gabor patches) so that each pattern had a unique global form or perceptual 'Gestalt'. The visual stimuli were decodable from evoked neural activation patterns measured with magnetoencephalography (MEG), however, stimuli differed in the similarity of their neural representation as estimated by differences in decodability. Early after stimulus onset (from 50ms), a model based on retinotopic organization predicted the representational similarity of the visual stimuli. Following the peak correlation between the retinotopic model and neural data at 80ms, the neural representations quickly evolved so that retinotopy no longer provided a sufficient account of the brain's time-varying representation of the stimuli. Overall the strongest predictor of the brain's representation was a model based on human judgments of perceptual similarity, which reached the limits of the maximum correlation with the neural data defined by the 'noise ceiling'. Our results show that large-scale brain activation patterns contain a neural signature for the perceptual Gestalt of composite visual features, and demonstrate a strong correspondence between perception and complex patterns of brain activity.

研究动机与目标

• 研究人类大脑中动态神经表征与视觉刺激知觉相似性之间的关系。
• 确定知觉相似性判断是否能预测使用MEG测量的时间变化神经激活模式的相似性。
• 比较视网膜拓扑模型与知觉相似性模型在预测随时间变化的神经表征方面的表现。
• 评估神经表征相似性在多大程度上受测量可靠性噪声上限的限制。

提出的方法

• 刺激为由相同取向的吉布斯斑块构成的抽象视觉图案，以确保一致的知觉单元，同时改变整体格式塔形态。
• 使用MEG记录每类刺激的时间分辨神经激活模式，实现对神经动力学的高时间分辨率分析。
• 应用表征相似性分析（RSA）比较不同刺激间的神经激活模式，量化神经反应的相似性。
• 基于空间视网膜拓扑组织构建视网膜拓扑模型，以预测早期神经反应。
• 基于人类对刺激相似性的行为判断构建知觉相似性模型，以预测神经表征相似性。
• 在多个时间点计算模型预测与神经数据之间的相关性，并使用噪声上限分析确定可达到的最大相关性。

实验结果

研究问题

• RQ1 人类大脑中神经激活模式的相似性如何随时间与视觉刺激的知觉相似性相关联？
• RQ2 视网膜拓扑组织在多大程度上能预测视觉图案在早期处理阶段的神经表征？
• RQ3 基于人类知觉相似性判断的模型是否比视网膜拓扑模型更优地预测神经表征相似性？
• RQ4 知觉相似性在何时成为神经表征的主导预测因子？

主要发现

• 通过MEG测量的视觉图案神经表征相似性，与人类观察者做出的知觉相似性判断高度一致。
• 自刺激呈现后50毫秒起，视网膜拓扑模型即可预测神经反应，其相关性在刺激后80毫秒达到峰值。
• 80毫秒后，视网膜拓扑模型的预测能力下降，表明高级加工过程超越了早期视网膜拓扑组织。
• 知觉相似性模型与神经数据的相关性最高，达到噪声上限，表明其解释了神经表征中几乎全部可靠的变异。
• 结果表明，大规模脑激活模式编码了复合视觉特征的知觉格式塔。
• 本研究为知觉体验与人类视觉皮层中复杂、动态的神经活动模式之间存在直接联系提供了有力证据。