[论文解读] The Algonauts Project 2025 Challenge: How the Human Brain Makes Sense of Multimodal Movies

Alessandro T. Gifford, Domenic Bersch+7 more|arXiv (Cornell University)|Dec 31, 2024

Cognitive Science and Education Research被引用 8

一句话总结

本论文介绍2025年 Algonauts Project 挑战，旨在开发能够泛化到观看电影时的 fMRI 数据的多模态大脑编码模型，设有公开排行榜并与 CNeuroMod 合作，最终在 CCN 2025 环节中展示。

ABSTRACT

There is growing symbiosis between artificial and biological intelligence sciences: neural principles inspire new intelligent machines, which are in turn used to advance our theoretical understanding of the brain. To promote further collaboration between biological and artificial intelligence researchers, we introduce the 2025 edition of the Algonauts Project challenge: How the Human Brain Makes Sense of Multimodal Movies (https://algonautsproject.com/). In collaboration with the Courtois Project on Neuronal Modelling (CNeuroMod), this edition aims to bring forth a new generation of brain encoding models that are multimodal and that generalize well beyond their training distribution, by training them on the largest dataset of fMRI responses to movie watching available to date. Open to all, the 2025 challenge provides transparent, directly comparable results through a public leaderboard that is updated automatically after each submission to facilitate rapid model assessment and guide development. The challenge will end with a session at the 2025 Cognitive Computational Neuroscience (CCN) conference that will feature winning models. We welcome researchers interested in collaborating with the Algonauts Project by contributing ideas and datasets for future challenges.

研究动机与目标

• 通过引入多模态大脑编码挑战，促进人工智能与神经科学研究者之间的合作。
• 使用可用的最大规模的电影观看 fMRI 数据集，开发能够超越训练分布的编码模型。
• 通过公开、自动更新的排行榜提供透明、直接可比的结果。
• 通过快速模型评估促进开发下一代受脑启发的 AI。
• 通过邀请数据集和未来挑战的想法来促进协作。

提出的方法

• 在电影观看期间收集的大型 fMRI 数据集上训练和评估多模态大脑编码模型。
• 使用一个在每次提交后自动更新的公开排行榜，以实现直接的模型比较。
• 与 Courtois Project on Neuronal Modelling (CNeuroMod) 合作，联合神经元建模方面的努力。
• 通过模型在训练数据之外对多模态刺激的泛化能力来评估。
• 以 CCN 2025 的会议环节结束，展示获胜模型。

实验结果

研究问题

• RQ1 当暴露于观看电影的 fMRI 数据时，如何训练多模态大脑编码模型以超越其训练分布进行泛化？
• RQ2 在动态、自然刺激中，哪种评估框架和指标最能捕捉跨模态的脑对齐编码？
• RQ3 公开排行榜和开放数据集是否能加速向脑样多模态理解的进展？
• RQ4 与神经建模倡议（如 CNeuroMod）的合作在推动编码模型方面可能发挥什么作用？

主要发现

• 本文提出了一个用于多模态大脑编码的 2025 挑战框架，使用大型电影观看 fMRI 数据集。
• 公开、自动更新的排行榜将使模型评估直接且可比。
• 挑战向所有研究人员开放，促进未来迭代的协作理念和数据集。
• 结果将在 2025 年的 Cognitive Computational Neuroscience (CCN) 大会上展示，获胜模型将公布。
• 该倡议强调透明度和快速迭代，以引导脑启发型 AI 的模型开发。