[论文解读] Probing Classifiers are Unreliable for Concept Removal and Detection

Abhinav Kumar, Chenhao Tan+1 more|arXiv (Cornell University)|Jul 8, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文表明，探测分类器——常被用作检测并从神经网络表征中去除虚假或敏感概念的代理方法——本质上不可靠。即使与概念相关的特征完全可分，探测分类器仍可能依赖于相关联的任务相关特征，导致事后（post-hoc）和对抗性去除方法失败，从而错误地移除有用信息或完全无法消除目标概念。

ABSTRACT

Neural network models trained on text data have been found to encode undesirable linguistic or sensitive concepts in their representation. Removing such concepts is non-trivial because of a complex relationship between the concept, text input, and the learnt representation. Recent work has proposed post-hoc and adversarial methods to remove such unwanted concepts from a model's representation. Through an extensive theoretical and empirical analysis, we show that these methods can be counter-productive: they are unable to remove the concepts entirely, and in the worst case may end up destroying all task-relevant features. The reason is the methods' reliance on a probing classifier as a proxy for the concept. Even under the most favorable conditions for learning a probing classifier when a concept's relevant features in representation space alone can provide 100% accuracy, we prove that a probing classifier is likely to use non-concept features and thus post-hoc or adversarial methods will fail to remove the concept correctly. These theoretical implications are confirmed by experiments on models trained on synthetic, Multi-NLI, and Twitter datasets. For sensitive applications of concept removal such as fairness, we recommend caution against using these methods and propose a spuriousness metric to gauge the quality of the final classifier.

研究动机与目标

• 调查探测分类器作为检测和去除神经网络表征中虚假或敏感概念的代理方法的可靠性。
• 分析为何事后和对抗性概念去除方法尽管具有理论优势，仍会失败。
• 识别概念去除方法破坏与任务相关特征或完全无法去除目标概念的失败模式。
• 提出一种虚假性度量指标，用于评估公平性关键应用中概念去除方法的质量。
• 在合成数据、Multi-NLI 和 Twitter 数据集上，通过不同概念-任务相关性水平，实证验证理论主张。

提出的方法

• 理论分析证明，即使概念特异性特征线性可分且准确率达到100%，探测分类器仍可能为与任务相关的特征分配非零权重。
• 本文分析了空空间投影（事后方法）和对抗性训练（对抗性方法），表明其对探测分类器的依赖导致概念去除不可靠。
• 提出一种虚假性评分，用于量化分类器对二元虚假特征的依赖程度，作为模型公平性和鲁棒性的代理指标。
• 实验使用合成数据、Multi-NLI 和 Twitter 数据集，在主任务与概念之间相关性逐渐增强的条件下评估概念去除效果。
• 应用Dropout正则化以评估其对对抗性去除方法中虚假性降低的影响。
• 将虚假性评分与合成数据上的真实Δ-Probability指标进行比较，以验证其可靠性。

实验结果

研究问题

• RQ1 探测分类器能否可靠检测表征中是否包含由虚假或敏感概念因果衍生的特征？
• RQ2 在何种条件下，事后和对抗性概念去除方法会失败，无法去除目标概念，同时保留与任务相关的特征？
• RQ3 主任务与概念之间的相关性在多大程度上影响概念去除方法的失败模式？
• RQ4 所提出的虚假性评分与真实Δ-Probability指标的相关性如何，后者用于衡量对虚假特征的依赖程度？
• RQ5 如Dropout等正则化技术能否缓解对抗性概念去除对任务性能的负面影响？

主要发现

• 即使概念特异性特征完全线性可分且准确率达到100%，探测分类器仍可能为相关联的任务相关特征分配非零权重。
• 通过空空间投影的事后去除方法在概念-任务相关性增加时，会逐渐移除越来越多的主任务特征，最终使主分类器退化为随机猜测。
• 对抗性去除方法无法完全消除与概念相关的特征；残余的表征中仍存在与标准分类器相当的、与概念相关的特征。
• 在标签中含30%噪声的合成数据集中，对抗性去除方法使虚假性评分上升，而ERM基线的虚假性评分保持为零。
• 所提出的虚假性评分在合成数据上与真实Δ-Probability指标具有高度皮尔逊相关性（分别为0.83和0.95），表明其具有强有效性。
• 将Dropout正则化从0.0增加到0.9后，对抗性去除后主分类器的Δ-Probability降低，表明正则化可缓解失败模式。