[论文解读] Verifying the Union of Manifolds Hypothesis for Image Data

Bradley C. A. Brown, Anthony L. Caterini+3 more|arXiv (Cornell University)|Jul 6, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出将流形假设推广为流形并集假设，以更准确地刻画图像数据的结构，表明图像数据位于具有不同内在维度的不相交流形并集中。通过使用前推深度生成模型和内在维度假设，作者在MNIST和CIFAR-100等数据集中实证验证了不同类别间支持的不连通性，表明内在维数较高的类别更难分类，并且通过按内在维数重加权交叉熵损失可提升分类准确率。

ABSTRACT

Deep learning has had tremendous success at learning low-dimensional representations of high-dimensional data. This success would be impossible if there was no hidden low-dimensional structure in data of interest; this existence is posited by the manifold hypothesis, which states that the data lies on an unknown manifold of low intrinsic dimension. In this paper, we argue that this hypothesis does not properly capture the low-dimensional structure typically present in image data. Assuming that data lies on a single manifold implies intrinsic dimension is identical across the entire data space, and does not allow for subregions of this space to have a different number of factors of variation. To address this deficiency, we consider the union of manifolds hypothesis, which states that data lies on a disjoint union of manifolds of varying intrinsic dimensions. We empirically verify this hypothesis on commonly-used image datasets, finding that indeed, observed data lies on a disconnected set and that intrinsic dimension is not constant. We also provide insights into the implications of the union of manifolds hypothesis in deep learning, both supervised and unsupervised, showing that designing models with an inductive bias for this structure improves performance across classification and generative modelling tasks. Our code is available at https://github.com/layer6ai-labs/UoMH.

研究动机与目标

• 挑战传统流形假设，该假设假设所有数据均位于一个具有恒定内在维度的单一低维流形上。
• 探究图像数据是否实际上位于具有不同内在维度的不相交流形并集中。
• 使用前推深度生成模型和内在维度假设，在标准图像数据集上实证验证流形并集假设。
• 探讨该假设对深度学习的影响，特别是对监督和无监督学习任务的影响。
• 证明建模流形并集可提升分类和生成建模任务的性能。

提出的方法

• 使用前推深度生成模型（DGMs）测试是否可以建模不连通的数据支持，利用理论结果：DGMs 无法建模不连通的支持。
• 对每类图像数据训练类特定的 DGMs，并在相同计算预算下与单一全局 DGM 的性能进行比较，以推断支持的不连通性。
• 使用 Pope 等人（2021）提出的方法，通过 k-最近邻（k-NN）方法估计每类的内在维数，计算局部内在维数估计值。
• 在监督学习中应用重加权交叉熵损失，其中类别权重与估计的内在维数成正比，以提升高维类别上的分类准确率。
• 在图像数据集上训练和评估不连通的 DGMs（不连通前推模型），以评估其在生成建模任务中的性能。
• 使用标准深度学习架构（VGG-19、ResNet-18、ResNet-34），不使用数据增强，以确保内在维度假设保持一致且不受干扰。

实验结果

研究问题

• RQ1 图像数据的支持是否真正不连通，即不同类别是否形成不同的连通分量？
• RQ2 图像数据集中不同类别是否表现出显著不同的内在维度？
• RQ3 基于内在维数重加权交叉熵损失是否能提升分类性能？
• RQ4 不连通深度生成模型是否在生成建模任务中优于标准 DGMs？
• RQ5 流形并集假设是否为监督和无监督深度学习任务提供了更优的归纳偏置？

主要发现

• 实证表明图像数据的支持是不连通的，表现为在相同计算预算下，类特定 DGMs 的性能优于单一全局 DGMs。
• 在 MNIST 和 CIFAR-100 等数据集中，不同类别的内在维数存在显著差异，部分类别（如 MNIST 中的 '8' 和 '1'）的内在维数高于其他类别。
• 内在维数较高的类别更难分类，表现为这些类别的基线准确率较低。
• 通过按内在维数重加权交叉熵损失，可提升分类准确率，尤其在高维类别上表现更优，证明该假设在监督学习中的实用性。
• 不连通 DGMs 在多个数据集和架构上与标准 DGMs 表现相当，验证了其作为新型建模范式潜力。
• 与单一流形假设相比，流形并集假设提供了更准确的归纳偏置，提升了分类和生成建模任务的性能。