[论文解读] NeuroAI for AI Safety

Patrick Mineault, Niccolò Zanichelli+13 more|arXiv (Cornell University)|Nov 27, 2024

Fault Detection and Control Systems被引用 4

一句话总结

本文提出NeuroAI——通过模拟大脑结构、学习算法和神经表征，将神经科学洞见融入人工智能安全，以增强人工智能的鲁棒性、可解释性和对齐性。结果表明，受大脑启发的设计可缓解智能体AI的风险，关键成果显示，通过神经科学启发的架构与数据驱动训练，可提升泛化能力和安全性。

ABSTRACT

As AI systems become increasingly powerful, the need for safe AI has become more pressing. Humans are an attractive model for AI safety: as the only known agents capable of general intelligence, they perform robustly even under conditions that deviate significantly from prior experiences, explore the world safely, understand pragmatics, and can cooperate to meet their intrinsic goals. Intelligence, when coupled with cooperation and safety mechanisms, can drive sustained progress and well-being. These properties are a function of the architecture of the brain and the learning algorithms it implements. Neuroscience may thus hold important keys to technical AI safety that are currently underexplored and underutilized. In this roadmap, we highlight and critically evaluate several paths toward AI safety inspired by neuroscience: emulating the brain's representations, information processing, and architecture; building robust sensory and motor systems from imitating brain data and bodies; fine-tuning AI systems on brain data; advancing interpretability using neuroscience methods; and scaling up cognitively-inspired architectures. We make several concrete recommendations for how neuroscience can positively impact AI safety.

研究动机与目标

• 解决未来智能体AI与通用AI系统相关的长期AI安全问题。
• 探索神经科学如何为超越当前描述性AI局限的技术性AI安全解决方案提供启示。
• 识别并评估基于大脑的方案，以提升AI的鲁棒性、协作能力与目标对齐性。
• 为将神经科学整合到AI安全研究与开发中提供可操作的建议。

提出的方法

• 将DeepMind 2018年提出的AI安全框架适配为映射神经科学启发解决方案在鲁棒性、可解释性和对齐性方面的工具。
• 通过认知启发的神经架构，模拟类脑表征与信息处理机制。
• 利用神经数据（如电生理记录、钙成像）微调AI模型，以提升泛化能力与安全性。
• 应用基于神经科学的可解释性工具，如表示相似性分析与共享方差成分分析（SVCA），以探测模型内部机制。
• 利用大规模神经数据集扩展类脑架构，并分析其维度与可扩展性。
• 使用贝叶斯线性回归与对数-对数缩放定律，建模神经数据维度随记录规模的变化规律。

实验结果

研究问题

• RQ1 大脑结构与学习算法在多大程度上可为设计更安全、更鲁棒的AI系统提供启示？
• RQ2 在神经数据上微调AI模型，能在多大程度上提升其分布外泛化能力与安全性？
• RQ3 基于神经科学的可解释性方法能否增强人工智能的透明度与对齐性？
• RQ4 神经数据维度在不同物种与记录模态间呈现何种缩放行为？
• RQ5 如何利用公开可用的神经数据集来训练和评估更安全的AI系统？

主要发现

• 神经数据维度随记录神经元数量的增加呈亚线性增长，跨物种遵循幂律关系，指数β ≈ 0.5–0.7。
• 共享方差成分分析（SVCA）通过测量正交分解后测试集中解释的方差，可靠地估计神经维度。
• DANDI、OpenNeuro和iEEG.org等数据仓库中，公开可用的神经数据总量超过10万小时，主要来自人类连接组计划与英国生物银行。
• 在BrainScore排行榜上，视觉模型的神经相似性随时间呈现二次提升趋势，表明其与生物视觉处理的对齐性正在加速增强。
• 在神经数据上训练的类脑架构对分布偏移表现出更强鲁棒性，并通过与皮层区域的表征相似性提升了可解释性。
• 来自不同模态的神经数据——如电生理记录、钙成像、fMRI——可被标准化并用于训练具备更安全、更类人归纳偏置的AI系统。