[论文解读] Natural Language Descriptions of Deep Visual Features

Evan Hernandez, Sarah Schwettmann+4 more|arXiv (Cornell University)|Jan 26, 2022

Cell Image Analysis Techniques被引用 18

一句话总结

该论文提出 milan 方法，通过最大化神经元激活模式与人工标注图像区域描述之间的点互信息（PMI），自动为深度神经网络中的单个神经元生成细粒度、自然语言描述。该方法支持对视觉模型进行细致分析、审计与编辑，显著提升模型鲁棒性，通过识别并移除对虚假文本特征敏感的神经元，使对抗性测试集上的错误率降低 12%。

ABSTRACT

Some neurons in deep networks specialize in recognizing highly specific perceptual, structural, or semantic features of inputs. In computer vision, techniques exist for identifying neurons that respond to individual concept categories like colors, textures, and object classes. But these techniques are limited in scope, labeling only a small subset of neurons and behaviors in any network. Is a richer characterization of neuron-level computation possible? We introduce a procedure (called MILAN, for mutual-information-guided linguistic annotation of neurons) that automatically labels neurons with open-ended, compositional, natural language descriptions. Given a neuron, MILAN generates a description by searching for a natural language string that maximizes pointwise mutual information with the image regions in which the neuron is active. MILAN produces fine-grained descriptions that capture categorical, relational, and logical structure in learned features. These descriptions obtain high agreement with human-generated feature descriptions across a diverse set of model architectures and tasks, and can aid in understanding and controlling learned models. We highlight three applications of natural language neuron descriptions. First, we use MILAN for analysis, characterizing the distribution and importance of neurons selective for attribute, category, and relational information in vision models. Second, we use MILAN for auditing, surfacing neurons sensitive to human faces in datasets designed to obscure them. Finally, we use MILAN for editing, improving robustness in an image classifier by deleting neurons sensitive to text features spuriously correlated with class labels.

研究动机与目标

• 开发一种自动为深度网络中的单个神经元生成表达性强、开放式自然语言描述的方法。
• 克服先前神经元标注技术依赖固定预定义标签集的局限，无法发现新型或复杂神经元行为。
• 实现对神经元功能的细粒度表征，包括视觉特征中的类别、关系与逻辑结构。
• 支持模型可解释性中的实际应用，如分析神经元重要性、审计对人口统计敏感性，以及通过编辑模型减轻虚假相关性。
• 构建一种与模型无关的框架，适用于多种架构（包括 CNN 和视觉 Transformer），即使在训练数据与标注分布不一致时也能适用。

提出的方法

• milan 将神经元标注建模为寻找能与神经元激活图像区域实现最大点互信息（PMI）的自然语言描述的搜索过程。
• 利用新收集的数据集 milannotations，其中包含对图像区域的细粒度人工描述，用于训练估计 p(描述 | 样本) 和 p(描述) 的模型。
• 对于每个神经元，milan 识别一组具有代表性的激活图像区域（样本），然后搜索与这些样本实现高 PMI 的描述。
• 该方法与模型无关，可应用于 CNN 中的卷积单元、视觉 Transformer 中的全连接单元及其他架构中的各类层。
• 该方法利用对语言和视觉特征分布的建模，生成既具体又具有组合性的描述，捕捉神经元行为中的复杂模式。
• 该框架支持下游任务，如神经元分析、针对敏感特征的审计，以及通过识别并移除具有特定潜在有害行为的神经元来实现模型编辑。

实验结果

研究问题

• RQ1 我们能否自动为深度网络中的单个神经元生成丰富、开放式且具有组合性的自然语言描述？
• RQ2 此类描述能否捕捉视觉表征中复杂的细粒度特征，如关系或逻辑结构？
• RQ3 这些描述能否用于识别并缓解视觉模型中的虚假相关性，例如对文本特征的依赖？
• RQ4 该方法在审计模型对人口统计敏感性方面效果如何，尤其是在模型使用匿名化数据训练时？
• RQ5 生成的描述能否有效指导有意义的模型编辑，以提升鲁棒性与泛化能力？

主要发现

• milan 在一个在含虚假文本标签数据集上训练的 ResNet18 模型中成功识别出 300 个与文本相关的卷积单元，证实模型中存在大量容量被用于文本识别。
• 仅移除其中 13 个对文本敏感的神经元，即可使对抗性测试集上的测试准确率提升 4.9 个百分点，错误率降低 12%。
• 该提升效果具有高度特异性：当按重要性排序并依次移除所有神经元时，准确率提升不足 1%，表明该方法能精准识别有害特征。
• 生成的描述在多种模型架构和任务中与人工描述高度一致，验证了其可解释性与质量。
• 该方法在审计使用匿名化数据训练的模型时表现出色，成功识别出对人脸敏感的神经元，即使数据已进行模糊处理。
• 该方法在编辑模型以提升鲁棒性方面展现出实际效用，尤其在缓解因与文本特征的虚假相关性导致的分布外数据性能下降方面效果显著。