[论文解读] Neural Stethoscopes: Unifying Analytic, Auxiliary and Adversarial Network Probing.

Fabian B. Fuchs, Oliver Groth+5 more|arXiv (Cornell University)|Jun 14, 2018

Anomaly Detection Techniques and Applications参考文献 20被引用 5

一句话总结

本文提出神经听诊器（neural stethoscopes），一种统一框架，通过分析性探测、辅助性探测和对抗性探测，量化并控制深度神经网络中特定因素的影响。该方法通过有针对性的损失函数实现去偏预测并增强相关特征学习，从而在视觉物理任务中提升了模型的鲁棒性和性能。

ABSTRACT

Model interpretability and systematic, targeted model adaptation present central tenets in machine learning for addressing limited or biased datasets. In this paper, we introduce neural stethoscopes as a framework for quantifying the degree of importance of specific factors of influence in deep networks as well as for actively promoting and suppressing information as appropriate. In doing so we unify concepts from multitask learning as well as training with auxiliary and adversarial losses. We showcase the efficacy of neural stethoscopes in an intuitive physicsdomain. Specifically, we investigate the challenge of visually predicting stability of block towers and demonstrate that the network uses visual cues which makes it susceptible to biases in the dataset. Through the use of stethoscopes we interrogate the accessibility of specific information throughout the network stack and show that we are able to actively de-bias network predictions as well as enhance performance via suitable auxiliary and adversarial stethoscope losses.

研究动机与目标

• 通过系统性地探究神经网络中特征重要性的方法，解决深度学习中的模型偏见和数据有限问题。
• 将多任务学习、辅助损失和对抗性训练的概念统一到一个可解释性和自适应性框架中。
• 通过主动促进或抑制特定信息路径，提升视觉推理任务中模型的性能和鲁棒性。
• 提供一种方法，用于探测网络各层级中特定影响因素的可访问性。

提出的方法

• 引入神经听诊器作为框架，利用分析性探测量化特定因素对网络预测的影响程度。
• 采用辅助听诊器头，在训练过程中显式促进特定感兴趣因素的学习。
• 应用对抗性听诊器头，以抑制网络决策中由虚假或偏见因素引起的影响。
• 通过结合标准损失、辅助听诊器损失和对抗性听诊器损失来训练主网络，以平衡信息的可访问性与控制。
• 使用共享编码器架构，使听诊器头并行训练，以监控和调节特征表示。
• 在视觉物理领域（预测积木塔稳定性）应用该框架，数据集中存在视觉线索的潜在偏见。

实验结果

研究问题

• RQ1 神经听诊器在多大程度上能够量化特定因素（如视觉线索）对深度网络预测的影响？
• RQ2 辅助听诊器损失在多大程度上能通过促进相关信息的获取来提升模型性能？
• RQ3 对抗性听诊器损失是否能有效抑制模型预测中的偏见或虚假特征？
• RQ4 分析性、辅助性和对抗性探测的整合在视觉推理任务中如何提升模型的鲁棒性和可解释性？

主要发现

• 神经听诊器成功识别出网络依赖于块排列和颜色等视觉线索，而这些线索易受数据集偏见影响。
• 使用辅助听诊器损失通过增强模型对相关物理推理特征的访问，提升了预测准确率。
• 对抗性听诊器损失有效减少了对有偏见视觉线索的依赖，从而实现更鲁棒和泛化性更强的预测。
• 统一框架使能够系统性地探究网络中特征可访问性，揭示了隐藏的偏见和信息瓶颈。