[论文解读] Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive Models

Lukas Schumacher, Paul‐Christian Bürkner+3 more|arXiv (Cornell University)|Nov 23, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种神经超统计框架，将认知模型（如扩散决策模型，DDM）扩展至使用基于深度学习的贝叶斯推断来估计时变参数。通过采用分层超统计结构——其中高层转移模型控制低层观测模型——该方法能够准确、高效地恢复动态认知过程，相较于静态模型在捕捉人类反应时间数据中的时间波动方面表现更优。

ABSTRACT

Mathematical models of cognition are often memoryless and ignore potential fluctuations of their parameters. However, human cognition is inherently dynamic. Thus, we propose to augment mechanistic cognitive models with a temporal dimension and estimate the resulting dynamics from a superstatistics perspective. Such a model entails a hierarchy between a low-level observation model and a high-level transition model. The observation model describes the local behavior of a system, and the transition model specifies how the parameters of the observation model evolve over time. To overcome the estimation challenges resulting from the complexity of superstatistical models, we develop and validate a simulation-based deep learning method for Bayesian inference, which can recover both time-varying and time-invariant parameters. We first benchmark our method against two existing frameworks capable of estimating time-varying parameters. We then apply our method to fit a dynamic version of the diffusion decision model to long time series of human response times data. Our results show that the deep learning approach is very efficient in capturing the temporal dynamics of the model. Furthermore, we show that the erroneous assumption of static or homogeneous parameters will hide important temporal information.

研究动机与目标

• 解决静态认知模型的局限性，即假设参数随时间不变，尽管已知认知过程存在动态变化。
• 开发一种灵活的、基于模拟的深度学习方法，用于在具有时变参数的复杂超统计模型中进行贝叶斯推断。
• 通过在长段人类反应时间数据上应用动态版本的扩散决策模型（DDM），证明该方法的有效性。
• 表明假设静态参数会掩盖重要的时间动态特征，并导致不确定性估计过高。
• 将该方法与现有框架进行对比验证，确立其在捕捉认知过程时间波动方面的优越性。

提出的方法

• 该方法采用分层超统计模型，包含低层观测模型（如DDM）和高层转移模型，后者控制时变参数。
• 使用有状态的高斯过程（GP）来建模DDM参数在试验间的演化，实现灵活的非马尔可夫动态。
• 开发了一种基于模拟的深度学习方法用于摊销贝叶斯推断，实现高效后验估计，无需显式计算似然函数。
• 该方法支持在线（实时模拟）和离线（预计算模拟）两种训练范式以实现推断。
• 该方法在BayesFlow Python库中实现，支持复杂认知模型的端到端、可扩展的推断。
• 该框架允许在单一概率模型中联合估计时变和时不变参数。

实验结果

研究问题

• RQ1 基于深度学习的贝叶斯推断方法能否准确估计具有复杂非马尔可夫动态的认知模型中的时变参数？
• RQ2 所提出的神经超统计方法在估计动态参数方面与现有框架相比表现如何？
• RQ3 当底层认知过程本质上具有动态性时，假设静态参数会带来何种后果？
• RQ4 该方法能否在真实人类反应时间数据中恢复出有意义的时间动态特征，特别是在长序列数据中？
• RQ5 通过高斯过程转移模型建模参数动态，是否能比更简单的随机游走模型获得更准确、更精确的预测？

主要发现

• 所提出的深度学习方法在超统计认知模型中以高精度和高效率成功恢复了时变和时不变参数。
• 该方法在估计动态参数方面优于两种现有框架，在合成数据和真实数据上均表现出更优性能。
• 在长段人类反应时间数据上的应用表明，采用GP转移模型的动态DDM能够捕捉到漂移率和非决策时间中的有意义时间波动，而这些波动在静态参数假设下会被掩盖。
• 假设静态参数会导致不确定性估计被高估，并掩盖潜在的时间趋势，这一结论在模拟和真实数据应用中均得到验证。
• 与更简单的高斯随机游走模型相比，基于GP的转移模型在未见数据上产生了更尖锐的预测分布，表明其泛化能力更强。
• 结果证实，忽略认知模型中的时间动态会严重限制其描述性、解释性和预测能力。