[论文解读] Valid population inference for information-based imaging: Information prevalence inference

Carsten Allefeld, Kai Görgen+1 more|arXiv (Cornell University)|Sep 16, 2016

Statistical Methods and Inference被引用 3

一句话总结

该论文提出‘信息普遍性推断’作为信息基神经影像中群体推断的有效方法，以基于排列的统计方法替代基于均值的t检验，聚焦于信息效应在被试中的普遍性。研究表明，传统基于分类准确率的t检验因准确率在随机水平以下存在边界，无法支持可推广的群体推断，因此本文主张检验效应在足够比例被试中是否存在。

ABSTRACT

In multivariate pattern analysis of neuroimaging data, 'second-level' inference is often performed by entering classification accuracies into a t-test vs chance level across subjects. We argue that while the random effects analysis implemented by the t-test does provide population inference if applied to activation differences, it fails to do so in the case of classification accuracy or other 'information-like' measures, because the true value of such measures can never be below chance level. This constraint changes the meaning of the population-level null hypothesis being tested, which becomes equivalent to the global null hypothesis that there is no effect in any subject in the population. Consequently, rejecting it only allows to infer that there are some subjects in which there is an information effect, but not that it generalizes. This statement is supported by theoretical arguments as well as simulations. We review possible alternative approaches to population inference for information-based imaging, converging on the idea that it should not target the mean, but the prevalence of the effect in the population. One method to do so, 'permutation-based information prevalence inference using the minimum statistic', is described in detail and applied to empirical data.

研究动机与目标

• 识别在信息基成像中使用随机效应t检验进行群体推断的根本缺陷，其中分类准确率存在低于随机水平的边界。
• 证明此类t检验中标准零假设等价于全局零假设，而非有意义的群体层面泛化检验。
• 主张群体推断应关注效应在被试中的普遍性，而非平均准确率。
• 开发并验证一种新方法——基于排列的信息普遍性推断，采用最小统计量，以实现在该情境下的有效群体推断。
• 在真实神经影像数据上提供该方法的实证验证。

提出的方法

• 提出从检验平均分类准确率转向检验被试间显著效应的普遍性。
• 引入一种基于排列的统计检验，利用被试间最小检验统计量，评估效应是否在足够比例的群体中存在。
• 在全局零假设下对被试级检验统计量进行排列，保持依赖结构的同时随机化组别归属。
• 采用阈值化程序，根据个体分类准确率定义‘显著’被试，然后检验此类被试数量是否超过随机预期。
• 采用非参数方法估计在排列下最小统计量的零分布，从而在无需参数假设的前提下实现有效推断。
• 将该方法应用于实证fMRI数据，以证明其在检测群体水平信息效应方面的有效性与统计效能。

实验结果

研究问题

• RQ1 为何在信息基成像中，对分类准确率的标准t检验无法提供有效的群体推断？
• RQ2 对分类准确率进行t检验所检验的零假设的真实含义是什么？它与可推广的群体效应有何不同？
• RQ3 如何重新定义群体推断，以反映信息效应在被试中的普遍性，而非平均效应？
• RQ4 在被试群体中，测试信息效应普遍性的有效非参数统计方法是什么？
• RQ5 所提出的基于排列的信息普遍性推断方法是否能在实证神经影像数据中以适当的I类错误控制检测到真实效应？

主要发现

• 对分类准确率的标准t检验无法支持有效群体推断，因为准确率的真实值在随机水平以下存在边界，从而破坏了随机效应模型的假设。
• t检验所检验的零假设等价于全局零假设——即群体中无任何被试表现出信息效应——因此无法推断泛化性。
• 所提出的基于排列的信息普遍性推断方法在零假设下正确控制了I类错误率，并保持了统计效能。
• 模拟结果证实，当足够比例被试表现出基于信息的解码时，该方法能检测到显著效应，即使平均准确率与随机水平无显著差异。
• 在fMRI数据上的实证应用表明，该方法能识别出传统t检验所无法检测到的群体水平信息效应。
• 该方法对正态性假设的违反具有鲁棒性，且无需对分类准确率分布做出参数假设。