[论文解读] Topology and geometry of data manifold in deep learning

German Magai, Anton Ayzenberg|arXiv (Cornell University)|Apr 19, 2022

Topological and Geometric Data Analysis被引用 5

一句话总结

本文通过研究网络各层间数据流形的演化，提出了一种几何与拓扑框架来分析深度神经网络。该研究采用拓扑数据分析与内在维数评估泛化能力，揭示了拓扑变化与计算机视觉任务中模型性能及对抗鲁棒性之间的相关性。

ABSTRACT

Despite significant advances in the field of deep learning in applications to various fields, explaining the inner processes of deep learning models remains an important and open question. The purpose of this article is to describe and substantiate the geometric and topological view of the learning process of neural networks. Our attention is focused on the internal representation of neural networks and on the dynamics of changes in the topology and geometry of the data manifold on different layers. We also propose a method for assessing the generalizing ability of neural networks based on topological descriptors. In this paper, we use the concepts of topological data analysis and intrinsic dimension, and we present a wide range of experiments on different datasets and different configurations of convolutional neural network architectures. In addition, we consider the issue of the geometry of adversarial attacks in the classification task and spoofing attacks on face recognition systems. Our work is a contribution to the development of an important area of explainable and interpretable AI through the example of computer vision.

研究动机与目标

• 开发对网络各层中神经网络表征的几何与拓扑理解。
• 研究深度学习中数据流形的拓扑与几何特性在训练过程中的演化规律。
• 提出一种基于拓扑的描述符以评估模型的泛化能力。
• 分析拓扑结构与人脸识别系统中对抗脆弱性之间的关系。
• 通过将内在几何与拓扑特性与计算机视觉中模型行为相联系，推动可解释人工智能的发展。

提出的方法

• 作者应用拓扑数据分析中的持久同调方法，追踪网络各层中数据流形的拓扑特征（如连通分量、环路等）。
• 通过估计不同层中数据流形的内在维数，量化其几何复杂度与信息含量。
• 提出一种基于贝蒂数与持久图的拓扑描述符，用于评估泛化能力。
• 在多个卷积神经网络架构与数据集（包括ImageNet和人脸识别基准）上开展实验。
• 将该方法扩展至分析对抗样本，通过对比干净输入与扰动输入的拓扑变化进行分析。
• 通过消融研究与标准泛化指标的对比，对框架进行验证。

实验结果

研究问题

• RQ1 在训练好的深度神经网络中，数据流形的拓扑特性在各层之间如何变化？
• RQ2 拓扑描述符与模型泛化性能的相关性在多大程度上显著？
• RQ3 数据流形的拓扑变化在多大程度上可预测模型对对抗攻击的敏感性？
• RQ4 在训练过程中，数据的内在维数如何演化？其变化揭示了何种表征学习机制？
• RQ5 拓扑分析能否检测并解释人脸识别系统中的欺骗攻击？

主要发现

• 随着网络深度增加，数据流形的拓扑结构逐渐简化并更具结构性，表明实现了有效的特征抽象。
• 拓扑描述符与测试准确率之间存在显著相关性，表明拓扑特征可预测泛化性能。
• 对抗样本在数据流形中引发可检测的拓扑畸变，尤其在浅层中更为明显，表明存在结构上的脆弱性。
• 深层特征的内在维数降低，反映出维度压缩与特征压缩过程。
• 人脸识别系统中的欺骗攻击在潜在空间中产生独特的拓扑异常，可通过持久同调方法检测。
• 在各层间表现出更高拓扑稳定性的模型，对对抗攻击与欺骗攻击均展现出更强的鲁棒性。