[论文解读] What do AI algorithms actually learn? - On false structures in deep learning

Laura Thesing, Vegard Antun+1 more|arXiv (Cornell University)|Jun 4, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 15

一句话总结

本文提出，深度学习模型在图像分类中取得高准确率，并非因为学习了真正的人类可理解的结构（例如猫的毛发或耳朵等特征），而是因为学习了更简单、不稳定的‘虚假结构’——如像素总和阈值——这些结构与正确标签存在相关性。这些虚假结构在数值上更易学习，但导致普遍不稳定性，从而解释了为何模型容易受到对抗攻击。

ABSTRACT

There are two big unsolved mathematical questions in artificial intelligence (AI): (1) Why is deep learning so successful in classification problems and (2) why are neural nets based on deep learning at the same time universally unstable, where the instabilities make the networks vulnerable to adversarial attacks. We present a solution to these questions that can be summed up in two words; false structures. Indeed, deep learning does not learn the original structures that humans use when recognising images (cats have whiskers, paws, fur, pointy ears, etc), but rather different false structures that correlate with the original structure and hence yield the success. However, the false structure, unlike the original structure, is unstable. The false structure is simpler than the original structure, hence easier to learn with less data and the numerical algorithm used in the training will more easily converge to the neural network that captures the false structure. We formally define the concept of false structures and formulate the solution as a conjecture. Given that trained neural networks always are computed with approximations, this conjecture can only be established through a combination of theoretical and computational results similar to how one establishes a postulate in theoretical physics (e.g. the speed of light is constant). Establishing the conjecture fully will require a vast research program characterising the false structures. We provide the foundations for such a program establishing the existence of the false structures in practice. Finally, we discuss the far reaching consequences the existence of the false structures has on state-of-the-art AI and Smale's 18th problem.

研究动机与目标

• 解决深度学习在分类任务中取得高成功率却普遍存在不稳定性这一悖论。
• 将‘虚假结构’的概念形式化为数学框架，以解释为何神经网络会收敛到不稳定、非鲁棒的解。
• 为研究虚假结构在深度学习中是否存在及其本质的科研计划奠定基础。
• 将虚假结构现象与计算数学的基础性问题以及斯梅尔第18个问题（关于智能极限）联系起来。

提出的方法

• 引入‘虚假结构’的概念，即与真实分类结构相关联的、替代性、更简单且不稳定的表征。
• 从数学上将虚假结构定义为一对 (g, L')，其中 g 是基于简单、非几何特征（如像素总和）的函数，L' 是输入空间的逻辑划分。
• 通过一个思想实验（使用带有水平条纹的合成图像，如消防车）来展示神经网络如何基于像素总和阈值学习到虚假结构。
• 在小规模数据集（60个样本）上训练神经网络，参数范围为 a=0.01，并在两个测试集上测试其性能：一个与训练参数相似（b=0.009, c=0.01），另一个参数扰动但视觉外观完全相同（b=0.009, c=0.01）。
• 测量网络在两个测试集上的分类准确率，结果表明其在与训练相似的测试集上达到100%准确率，但在视觉上相同但参数扰动的测试集上准确率降为0%，表明存在完全不稳定性。
• 提出，网络实际学习的很可能是虚假结构 (g, L')，尽管确切结构可能是其近似变体，原因在于网络收敛于更简单、数值上更优的解。

实验结果

研究问题

• RQ1 为何深度神经网络在实现高分类准确率的同时，仍对微小输入扰动普遍不稳定？
• RQ2 训练后的神经网络实际学习的是何种结构表征？它们与人类可解释的预期结构有何不同？
• RQ3 深度学习模型的不稳定性是否可归因于网络学习了一个更简单、非鲁棒的‘虚假结构’，而非真实底层结构？
• RQ4 深度学习中的学习过程在多大程度上可被形式化为收敛于虚假结构？如何通过计算和理论手段加以验证？
• RQ5 虚假结构的存在如何影响计算数学的基础，并与斯梅尔第18个问题（关于智能极限）产生关联？

主要发现

• 神经网络在测试集 𝒞̃ᵇᶜ 上达到100%准确率，其中 b=0.009, c=0.01，该参数范围与训练数据（a=0.01）一致，表明其成功泛化至相似输入。
• 同一网络在测试集 𝔈̂ᵇᶜ 上准确率降为0%，尽管其视觉外观与训练集完全相同但参数范围不同（b=0.009, c=0.01），表明其在微小扰动下存在完全不稳定性。
• 当参数范围调整为 b=0.007, c=0.008 时，网络在 𝒞̃ᵇᶜ 上准确率降至98.7%，在 𝔈̂ᵇᶜ 上升至0.0%，表明网络并未学习稳定、几何意义上的结构。
• 基于像素总和阈值（≤96 或 >96）的虚假结构 (g, L') 被正式定义，并被证明是网络实际学习结构的合理候选，因为它能解释观察到的100%与0%准确率的显著差异。
• 网络行为表明，它学习的是一个更简单、数值上更易优化的虚假结构，尽管该结构高度不稳定，且在视觉上相同的输入上会失效。
• 结果支持如下猜想：深度学习模型学习的是虚假结构——即更简单、不稳定的表征，这些表征与真实结构相关，从而同时解释了高准确率与对抗脆弱性。