[论文解读] Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective

Luca Scimeca, Seong Joon Oh+3 more|arXiv (Cornell University)|Oct 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用 10

一句话总结

本文研究了深度神经网络（DNNs）为何在多个线索预测能力相等的情况下，仍偏好某些捷径线索（如颜色或种族）而非其他线索。通过使用合成数据集和真实数据集的新型WCST-ML训练设置，作者发现DNNs倾向于选择Kolmogorov简单的线索，这是由于这些线索在参数空间中更为丰富，从而导致模型泛化偏差和伦理风险，凸显了需要主动的人工干预来纠正模型偏差。

ABSTRACT

Deep neural networks (DNNs) often rely on easy-to-learn discriminatory features, or cues, that are not necessarily essential to the problem at hand. For example, ducks in an image may be recognized based on their typical background scenery, such as lakes or streams. This phenomenon, also known as shortcut learning, is emerging as a key limitation of the current generation of machine learning models. In this work, we introduce a set of experiments to deepen our understanding of shortcut learning and its implications. We design a training setup with several shortcut cues, named WCST-ML, where each cue is equally conducive to the visual recognition problem at hand. Even under equal opportunities, we observe that (1) certain cues are preferred to others, (2) solutions biased to the easy-to-learn cues tend to converge to relatively flat minima on the loss surface, and (3) the solutions focusing on those preferred cues are far more abundant in the parameter space. We explain the abundance of certain cues via their Kolmogorov (descriptional) complexity: solutions corresponding to Kolmogorov-simple cues are abundant in the parameter space and are thus preferred by DNNs. Our studies are based on the synthetic dataset DSprites and the face dataset UTKFace. In our WCST-ML, we observe that the inborn bias of models leans toward simple cues, such as color and ethnicity. Our findings emphasize the importance of active human intervention to remove the inborn model biases that may cause negative societal impacts.

研究动机与目标

• 理解为何DNNs在多个线索预测能力相等的情况下，仍偏好某些捷径线索而非其他线索。
• 研究参数空间几何结构在塑造模型对特定线索的偏见方面的作用。
• 考察线索的Kolmogorov复杂度与其在学习到的DNN解中出现频率之间的关联。
• 评估DNNs依赖简单但可能不道德的线索（如种族或肤色）所带来的社会影响。
• 为未来研究提供测量线索复杂度和追踪参数空间中解路径的工具。

提出的方法

• 设计一个合成数据集（WCST-ML），其中包含多个预测能力相等的线索（颜色、形状、尺度），以隔离DNNs中的线索偏好现象。
• 在对角线训练集上训练多种DNN架构（前馈网络、ResNet、视觉Transformer），以观察其线索选择行为。
• 使用非对角线测试样本，根据模型预测结果解码其依赖的线索。
• 测量每个线索的Kolmogorov复杂度（KC），以量化其描述上的简洁性。
• 分析偏向于每种线索的参数空间解的体积，发现简单线索占据显著更大的区域。
• 构建异质性零损失曲线，以追踪连接偏向不同线索的解之间的连续路径，确认损失景观在几何结构上的差异。

实验结果

研究问题

• RQ1 当多个线索具有相等预测能力时，为何DNNs会持续偏好某些捷径线索而非其他线索？
• RQ2 参数空间的几何结构在多大程度上影响了偏向特定线索的解的出现频率？
• RQ3 线索的Kolmogorov复杂度在多大程度上可预测其被DNNs选中的可能性？
• RQ4 参数空间中的简单性偏见如何影响模型在分布偏移下的泛化能力？
• RQ5 DNNs偏好简单且具有社会敏感性的线索（如种族或肤色）具有何种伦理影响？

主要发现

• 尽管与目标标签的相关性相等，DNNs仍持续偏好Kolmogorov复杂度较低的线索（如颜色和种族），而非更复杂的线索（如方向）。
• 偏向简单线索的解在参数空间中占据的体积显著大于偏向复杂线索的解。
• 偏向简单线索的解周围的损失景观比偏向复杂线索的解更平坦，表明其具有更高的鲁棒性和收敛稳定性。
• 对简单线索的偏好在多种架构中保持一致，包括ResNets和视觉Transformer，且与随机权重初始化无关。
• 实证结果证实，线索的Kolmogorov复杂度与模型偏好之间存在强烈的负相关性，验证了简洁性与解的丰度之间的理论关联。
• 本研究揭示，DNNs天然倾向于偏好简单线索，可能导致有害的社会偏见，尤其当种族或肤色等线索被用作捷径时，亟需人工干预来纠正模型行为。