[论文解读] Testing the Tools of Systems Neuroscience on Artificial Neural Networks

Grace W. Lindsay|arXiv (Cornell University)|Feb 14, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出将人工神经网络（ANNs）作为受控测试平台，以评估系统神经科学工具在揭示神经计算有意义洞见方面的有效性。通过在具有已知架构和行为的ANN上应用常见分析工具（如去混杂主成分分析，dPCA），研究人员可系统性检验这些工具是否能产生可操作的、可实验验证的洞见——从而提高神经科学方法论的可靠性与实用性。

ABSTRACT

Neuroscientists apply a range of common analysis tools to recorded neural activity in order to glean insights into how neural circuits implement computations. Despite the fact that these tools shape the progress of the field as a whole, we have little empirical evidence that they are effective at quickly identifying the phenomena of interest. Here I argue that these tools should be explicitly tested and that artificial neural networks (ANNs) are an appropriate testing grounds for them. The recent resurgence of the use of ANNs as models of everything from perception to memory to motor control stems from a rough similarity between artificial and biological neural networks and the ability to train these networks to perform complex high-dimensional tasks. These properties, combined with the ability to perfectly observe and manipulate these systems, makes them well-suited for vetting the tools of systems and cognitive neuroscience. I provide here both a roadmap for performing this testing and a list of tools that are suitable to be tested on ANNs. Using ANNs to reflect on the extent to which these tools provide a productive understanding of neural systems -- and on exactly what understanding should mean here -- has the potential to expedite progress in the study of the brain.

研究动机与目标

• 为解决系统神经科学中常用工具缺乏实证验证的问题，这些工具虽被广泛使用，但极少经过实际效用检验以揭示神经机制。
• 主张人工神经网络（ANNs）是理想的测试平台，因其具备生物学合理性、可在复杂任务上进行训练，且具有完全可观测性和可控性。
• 建立透明、预先注册的框架，用于评估在ANN上应用分析工具的结果，涵盖成功与失败的案例，以避免发表偏倚。
• 开发分级量表以衡量分析工具的成功程度，从无结果/不可解释的结果到可实验验证的可操作洞见。
• 通过在ANN上系统性测试，识别当前方法的局限性，从而推动更优工具的开发。

提出的方法

• 使用在生物相关任务（如带噪声的图像分类）上训练的ANN作为具有已知内部动态的神经回路的受控模型。
• 对这些网络的隐藏单元活动应用标准系统神经科学工具——如去混杂主成分分析（dPCA）、降维和群体向量分析。
• 采用四级成功度量标准评估工具性能：无结果/不可解释的结果、可解释但不可操作的洞见、可指导新实验的可操作洞见，以及通过实验扰动验证的洞见。
• 基于分析结果设计扰动实验（例如，重建不包含与噪声相关联的成分的活动），以检验预测效果是否与实际性能变化一致。
• 预先注册所有分析计划，并通过透明、开放的文档记录所有结果——无论正负——以避免文件柜偏倚。
• 根据工具是否成功分离出与任务相关的关键成分（如数字身份与噪声类型）以及这些成分是否能预测其在分类中的功能角色，对结果进行分类。

实验结果

研究问题

• RQ1 标准系统神经科学工具（如dPCA）在人工神经网络中在多大程度上能成功识别出可解释的、功能相关的成分？
• RQ2 这些工具生成的洞见能否通过针对网络活动的靶向扰动实验进行验证？
• RQ3 不同分析工具在产生关于神经网络功能的可操作、可预测洞见方面的能力如何比较？
• RQ4 可采用哪些标准客观评估神经数据科学中分析工具的质量与实用性？
• RQ5 在ANN上进行系统性测试能否揭示当前工具的局限性，并指导改进方法的开发？

主要发现

• 在带噪声的数字分类任务上训练的ANN中应用dPCA，成功识别出数字身份与噪声类型对应的独立子空间，表明任务参数被有效去混杂。
• 当网络活动被重建为不包含与噪声相关的dPC时，分类性能提升，证实这些成分对任务非必要，从而验证了分析洞见的正确性。
• 仅产生可解释但不可操作洞见的分析工具价值有限，因其无法引导可检验的预测。
• 应透明地记录和报告产生无结果或不可解释结果的工具，以避免对其效用产生误导性结论。
• 最高层次的成功——即分析洞见能引导出可被后续实验验证的预测——在dPCA扰动实验中得到验证，展示了该方法的全部潜力。
• 预先注册并完整报告所有测试结果（包括失败）对于避免偏倚、确保方法评估的严谨性至关重要。