[论文解读] Probing artificial neural networks: insights from neuroscience

Anna A. Ivanova, John Hewitt+1 more|arXiv (Cornell University)|Apr 16, 2021

Neural dynamics and brain function参考文献 35被引用 9

一句话总结

本文借鉴神经科学的方法论来指导人工神经网络（ANN）中的探针设计，强调探针方向（解码器与编码器）和表达能力（功能复杂度）必须与特定研究目标相匹配。文章认为，明确的研究目标设定——例如评估特征可用性、表征结构或信息内容——对于实现有意义的可解释性至关重要，并提出了一个框架以改进机器学习中的探针研究。

ABSTRACT

A major challenge in both neuroscience and machine learning is the development of useful tools for understanding complex information processing systems. One such tool is probes, i.e., supervised models that relate features of interest to activation patterns arising in biological or artificial neural networks. Neuroscience has paved the way in using such models through numerous studies conducted in recent decades. In this work, we draw insights from neuroscience to help guide probing research in machine learning. We highlight two important design choices for probes $-$ direction and expressivity $-$ and relate these choices to research goals. We argue that specific research goals play a paramount role when designing a probe and encourage future probing studies to be explicit in stating these goals.

研究动机与目标

• 通过借鉴数十年的神经科学研究，解决机器学习中探针设计日益增长的系统性需求。
• 强调探针方向（解码器与编码器）和表达能力（功能复杂度）并非中立选择，而应由具体科学目标引导。
• 主张当前的探针实践往往缺乏明确的研究目标，导致对模型表征的解释模糊或具有误导性。
• 提供一个将探针设计与细粒度研究目标（如特征可用性、表征结构和信息内容）对齐的框架。
• 鼓励机器学习社区在设计探针研究时明确陈述研究目标，以提升可解释性和机制性洞察。

提出的方法

• 将探针定义为一个监督模型，将系统激活值 $X$ 映射到目标特征 $Y$，并受功能形式 $F$ 的约束。
• 区分解码器（$F: X \rightarrow Y$）与编码器（$F: Y \rightarrow X$），二者分别提供关于表征内容的互补性见解。
• 主张探针的表达能力必须受到限制，以避免对噪声或数据伪影产生过拟合，尤其是在非线性系统中。
• 建议探针设计应由研究目标引导，例如通过线性或低复杂度映射来评估特征可用性。
• 建议使用最小描述长度或复杂度-准确率权衡来评估探针复杂度，而非依赖无界表达能力。
• 将表征几何结构视为探针的关键结果，其中简单的功能形式（如线性可分性）可揭示高维表征中的涌现结构。

实验结果

研究问题

• RQ1 如何选择探针方向（解码器与编码器）以最佳服务于解释神经网络表征的不同研究目标？
• RQ2 探针表达能力对人工和生物神经网络中探针结果的可解释性和可靠性有何影响？
• RQ3 探针结果在多大程度上能揭示神经网络中的实际机制过程，而非仅仅是统计相关性？
• RQ4 如何使探针设计与特定科学目标（如特征可用性、信息内容或涌现表征结构）保持一致？
• RQ5 表征几何结构在理解特征如何在深层神经网络各层中被编码和转换方面发挥何种作用？

主要发现

• 探针方向显著影响所获得的洞察类型：解码器揭示特征是否被编码在激活值中，而编码器揭示特征能解释激活值中的多少方差。
• 过度表达的探针可能记忆随机标签或因数据伪影检测到特征，从而损害其可解释性和有效性。
• 线性探针常被用作下游可用性的代理，但在非线性网络中，这一假设可能不成立，因为树突或非线性变换可能实现更高效的特征提取。
• 在高度非线性的网络中，简单功能形式（如线性可分性）的出现，为任务优化的结构化表征几何提供了有力证据。
• 表达能力受约束的探针——尤其是那些基于复杂度-准确率权衡或最小描述长度设计的探针——比无界模型能提供更可靠、更具可解释性的洞察。
• 明确陈述研究目标对于设计信息丰富的探针研究至关重要，因为它直接决定了探针方向和表达能力的合适选择。