[论文解读] Statistical inference on representational geometries

Heiko H. Schütt, Alexander D. Kipnis+2 more|arXiv (Cornell University)|Dec 16, 2021

Functional Brain Connectivity Studies被引用 9

一句话总结

本文提出了一套新颖的统计推断方法，用于基于模型在预测神经群体响应的表示几何结构（特别是刺激诱发的神经群体响应之间的多变量距离结构）方面的准确性，评估脑-计算模型。通过结合两因素交叉验证与自助法（bootstrapping），该方法可有效防止对被试或实验条件的过拟合，实现有效且可推广的模型比较，并在模拟数据和真实fMRI及钙成像数据上得到验证，相关开源工具已公开。

ABSTRACT

Neuroscience has recently made much progress, expanding the complexity of both neural-activity measurements and brain-computational models. However, we lack robust methods for connecting theory and experiment by evaluating our new big models with our new big data. Here, we introduce new inference methods enabling researchers to evaluate and compare models based on the accuracy of their predictions of representational geometries: A good model should accurately predict the distances among the neural population representations (e.g. of a set of stimuli). Our inference methods combine novel 2-factor extensions of crossvalidation (to prevent overfitting to either subjects or conditions from inflating our estimates of model accuracy) and bootstrapping (to enable inferential model comparison with simultaneous generalization to both new subjects and new conditions). We validate the inference methods on data where the ground-truth model is known, by simulating data with deep neural networks and by resampling of calcium imaging and functional MRI data. Results demonstrate that the methods are valid and conclusions generalize correctly. These data analysis methods are available in an open-source Python toolbox (rsatoolbox.readthedocs.io).

研究动机与目标

• 为应对复杂脑-计算模型与高维神经数据对比时日益严峻的评估挑战。
• 开发稳健的统计推断方法，防止在比较模型时对被试或实验条件产生过拟合。
• 通过自助法与交叉验证，实现在新被试和新实验条件上的可推广模型比较。
• 在具有已知真实情况的模拟数据以及真实神经数据集（fMRI和钙成像）上验证方法。
• 提供开源工具，实现神经科学中表示相似性分析的可重现性。

提出的方法

• 提出一种两因素交叉验证框架，分别对被试和实验条件进行交叉验证，防止对任一因素的过拟合。
• 引入一种自助法程序，可同时推广至新被试和新实验条件，从而实现对模型准确性的有效推断。
• 使用表示差异矩阵（RDMs）量化神经群体响应的几何结构，采用经交叉验证的距离估计器，其值可为负，且对噪声无偏。
• 通过单位矩阵、对角矩阵以及收缩估计器（Ledoit-Wolf与Sch"{a}fer-Strimmer）估计噪声协方差，以稳定RDM估计。
• 通过预测RDM与实测RDM之间的相关性或余弦相似度进行模型比较，并在自助法中实施偏差校正。
• 利用深度神经网络模拟数据以及真实fMRI和钙成像数据的重采样方法验证方法。

实验结果

研究问题

• RQ1 所提出的推断框架能否在不发生对被试或实验条件过拟合的情况下准确估计模型性能？
• RQ2 当在新被试和新实验条件下评估模型时，该方法是否能可靠地泛化？
• RQ3 在已知真实模型的模拟数据中，这些推断方法表现如何？
• RQ4 即使模型基于相同数据构建，该方法能否根据RDM区分不同脑区？
• RQ5 该方法在不同神经数据类型（包括fMRI和钙成像）中是否具有鲁棒性？

主要发现

• 所提出的推断方法在多种模拟条件下均有效，且保持正确的第一类错误率，包括高噪声和数据量有限的情况。
• 两因素交叉验证与自助法框架在已知真实情况的模拟中成功防止了对被试或实验条件的过拟合。
• 该方法能正确泛化至新被试和新实验条件，在fMRI数据上144,000次模拟和钙成像数据上15,552次模拟条件下，均实现了对模型准确性的精确估计。
• 在真实钙成像数据中，该方法通过留一法交叉验证成功识别出脑区身份，证明其具备区分神经表征的能力。
• 开源工具箱 rsatoolbox.readthedocs.io 支持在多样化神经数据集中可重现地分析表示几何结构。
• 与标准方法相比，该方法通过同时考虑被试与条件的变异性，在模型比较中表现更优。