[论文解读] The Algonauts Project 2021 Challenge: How the Human Brain Makes Sense of a World in Motion

Radoslaw Martin Cichy, Kshitij Dwivedi+9 more|arXiv (Cornell University)|Apr 28, 2021

Visual Attention and Saliency Detection参考文献 8被引用 12

一句话总结

Algonauts 2021 挑战赛提供了一个大规模的 fMRI 数据集，包含 10 名参与者在观看超过 1,000 段自然主义视频剪辑（描绘日常事件）时的全脑响应。该挑战旨在预测人类在动态视觉感知过程中的大脑活动，通过直接比较脑启发模型与神经数据，促进神经科学与人工智能的协作，推动对人类和机器视觉智能的理解。

ABSTRACT

The sciences of natural and artificial intelligence are fundamentally connected. Brain-inspired human-engineered AI are now the standard for predicting human brain responses during vision, and conversely, the brain continues to inspire invention in AI. To promote even deeper connections between these fields, we here release the 2021 edition of the Algonauts Project Challenge: How the Human Brain Makes Sense of a World in Motion (http://algonauts.csail.mit.edu/). We provide whole-brain fMRI responses recorded while 10 human participants viewed a rich set of over 1,000 short video clips depicting everyday events. The goal of the challenge is to accurately predict brain responses to these video clips. The format of our challenge ensures rapid development, makes results directly comparable and transparent, and is open to all. In this way it facilitates interdisciplinary collaboration towards a common goal of understanding visual intelligence. The 2021 Algonauts Project is conducted in collaboration with the Cognitive Computational Neuroscience (CCN) conference.

研究动机与目标

• 通过创建一个用于建模人类视觉感知的共享基准，弥合人工智能与神经科学之间的差距。
• 解决在真实世界情境下，预测全脑 fMRI 响应对动态、自然主义视觉刺激的挑战。
• 通过透明、开放且可复现的挑战框架，促进认知神经科学与计算机视觉之间的跨学科合作。
• 推动脑启发型人工智能模型的发展，使其能够准确预测复杂、动态视觉场景下的神经反应。

提出的方法

• 研究收集了 10 名人类参与者在观看超过 1,000 段短时长、自然主义的日常事件视频剪辑时的全脑 fMRI 数据。
• 该数据集的结构设计使得模型预测结果可与全脑范围内的实际神经响应进行直接比较。
• 参与者暴露于多样化的动态视觉刺激，以捕捉对运动、动作和场景转换的神经响应。
• 挑战赛的格式允许研究人员使用标准化的评估协议训练和测试模型，确保透明性和可复现性。
• 模型根据其在预测未见视频剪辑的 fMRI 活动模式方面的能力进行评估。
• 该框架旨在支持对各类模型架构（包括深度神经网络和生物启发模型）的快速迭代与基准测试。

实验结果

研究问题

• RQ1 人工智能模型在多大程度上能够准确预测对动态、真实世界视觉刺激的全脑 fMRI 响应？
• RQ2 人类大脑中的哪些神经表征最能预测动态视觉处理？
• RQ3 脑启发型人工智能模型在多大程度上复现了人类视觉处理的时空动态特性？
• RQ4 在自然视觉过程中，不同模型架构在预测全脑神经活动方面的表现如何比较？
• RQ5 通过对齐人工与生物神经表征，可以对视觉智能获得哪些新见解？

主要发现

• Algonauts 2021 挑战赛提供了超过 1,000 段自然主义视频剪辑的全脑 fMRI 响应综合数据集，支持对动态视觉感知的大规模建模。
• 该数据集支持开发能够以高空间和时间保真度预测人类大脑全脑神经活动的模型。
• 挑战赛框架支持对脑启发型人工智能模型与真实神经数据进行直接、透明且可复现的基准测试。
• 该倡议促进了对人类大脑如何处理运动和动态视觉事件的理解的快速进展。
• 与认知计算神经科学（CCN）会议的合作确保了研究成果在神经科学与人工智能研究社区中的广泛传播与整合。
• 数据集和挑战赛的开放获取性质促进了跨学科创新，并加速了视觉智能领域的发现。