[论文解读] On the Blindspots of Convolutional Networks

Elad Hoffer, Shai Fine+1 more|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用 5

一句话总结

这篇论文揭示了卷积神经网络（ConvNets）存在结构性盲区——尽管在主流基准上表现卓越，但它们无法捕捉某些全局性、低维或高度编码的信号，而简单模型却能轻易检测到这些信号。通过注入对ConvNets不可见但对分类具有信息量的‘真相揭示信号’（如单像素图案、长度编码等），作者发现当这些信号存在时，逻辑回归和随机森林等传统模型的表现反而优于ConvNets，暴露出其在特征选择与不变性机制方面的局限性。

ABSTRACT

Deep convolutional network has been the state-of-the-art approach for a wide variety of tasks over the last few years. Its successes have, in many cases, turned it into the default model in quite a few domains. In this work, we will demonstrate that convolutional networks have limitations that may, in some cases, hinder it from learning properties of the data, which are easily recognizable by traditional, less demanding, models. To this end, we present a series of competitive analysis studies on image recognition and text analysis tasks, for which convolutional networks are known to provide state-of-the-art results. In our studies, we inject a truth-revealing signal, indiscernible for the network, thus hitting time and again the network's blind spots. The signal does not impair the network's existing performances, but it does provide an opportunity for a significant performance boost by models that can capture it. The various forms of the carefully designed signals shed a light on the strengths and weaknesses of convolutional network, which may provide insights for both theoreticians that study the power of deep architectures, and for practitioners that consider applying convolutional networks to the task at hand.

研究动机与目标

• 识别并展示卷积神经网络（ConvNets）在标准基准表现优异的情况下，仍存在无法捕捉某些数据信号的结构性局限。
• 探究ConvNets为何无法利用高度信息性、非局部或低维特征，而这些特征却能被简单模型轻松捕捉。
• 在注入对ConvNets不可见但能显著提升简单模型性能的真相揭示信号时，比较ConvNets与传统模型（如逻辑回归、随机森林）的表现。
• 深入理解ConvNets的不变性与池化机制，这些机制可能抑制重要全局或结构化数据属性的捕获。
• 为实践者提供指导，帮助其在数据预处理或编码后，判断ConvNets是否因这些盲点而不适用。

提出的方法

• 在图像和文本数据集中注入真相揭示信号（如单像素图案、噪声编码、长度编码、记忆编码），不改变原始标签或网络架构。
• 采用两种不同的ConvNet架构：一种用于图像数据（在像素网格上进行空间卷积），另一种用于文本数据（在独热编码序列上进行时间卷积），两者均未做任何修改。
• 设计对ConvNets在结构上不可见但具有全局信息性的信号，如图像中的正交噪声或文本中的基于长度的编码，这些在自然数据中罕见，但在真实世界数据中合理存在。
• 在相同数据上，对比ConvNets与传统模型（如逻辑回归、随机森林、决策树）在有无注入信号时的表现，以隔离隐藏信息的影响。
• 分析卷积特征构建与基于池化的特征选择之间的相互作用，特别是平移与缩放不变性如何抑制编码于空间或时间位置中的信号。
• 进行消融研究，仅保留真相揭示信号，以检验ConvNets在遮蔽特征被移除后是否能学习该信号。

实验结果

研究问题

• RQ1 为何ConvNets即使在信号高度可预测且对网络不可见的情况下，仍无法利用某些全局或低维信号，而这些信号却能被简单模型轻松捕捉？
• RQ2 ConvNets中结构化的不变性（如平移与缩放不变性）在信号依赖于空间或时间位置时，会在多大程度上损害性能？
• RQ3 当关键信息以卷积和池化操作无法察觉的方式编码时，简单而非深度的模型是否可能超越深度ConvNets？
• RQ4 数据预处理方法（如独热编码、频谱图变换）如何通过扭曲或隐藏信息性特征，引入或放大ConvNet的盲点？
• RQ5 特征构建（卷积）与特征选择（池化）之间的相互作用，在网络无法检测到某些信息性模式方面起到了何种作用？

主要发现

• 即使信号完全可预测且对网络不可见，ConvNets仍无法利用单像素或基于图案的信号，而这些信号对逻辑回归和随机森林而言轻而易举。
• 在文本分类中，长度编码信号（如将句子长度作为特征）被ConvNets完全忽略，但这一信号使简单模型的表现超越了ConvNets。
• 当所有其他特征被移除，仅保留真相揭示信号时，ConvNets实现了完美准确率，表明其在无竞争特征干扰时能够学习该信号。
• 当信息性信号为低维或全局时，浅层网络的表现优于深层ConvNets，表明更深的架构可能因不变性机制而干扰信号检测。
• 这些盲点在不同领域（图像与文本）中均出现，表明这是根本性的结构性限制，而非特定数据的产物。
• 当注入的信号存在时，尽管在标准基准上表现较差，逻辑回归和随机森林等传统模型仍显著优于ConvNets。