[论文解读] The Intrinsic Dimension of Images and Its Impact on Learning

Phil Pope, Chen Zhu+3 more|arXiv (Cornell University)|Apr 18, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用 23

一句话总结

本文利用维度估计工具研究了自然图像数据集的内在维度（ID），并表明尽管其环境维度很高（例如ImageNet中每张图像有150,528个像素），这些数据集的内在维度却非常低——估计值在26到43之间。研究显示，较低的内在维度与深度学习中更少的样本复杂度和更好的泛化能力密切相关，验证了低维结构是深度网络在图像数据上取得成功的关键原因这一假设。

ABSTRACT

It is widely believed that natural image data exhibits low-dimensional structure despite the high dimensionality of conventional pixel representations. This idea underlies a common intuition for the remarkable success of deep learning in computer vision. In this work, we apply dimension estimation tools to popular datasets and investigate the role of low-dimensional structure in deep learning. We find that common natural image datasets indeed have very low intrinsic dimension relative to the high number of pixels in the images. Additionally, we find that low dimensional datasets are easier for neural networks to learn, and models solving these tasks generalize better from training to test data. Along the way, we develop a technique for validating our dimension estimation tools on synthetic data generated by GANs allowing us to actively manipulate the intrinsic dimension by controlling the image generation process. Code for our experiments may be found here https://github.com/ppope/dimensions.

研究动机与目标

• 对MNIST、CIFAR-10和ImageNet等流行图像数据集的内在维度进行实证测量。
• 研究内在维度与深度学习中样本复杂度之间的关系。
• 利用具有已知潜在维度的GAN生成的合成数据，验证维度估计工具的可靠性。
• 检验环境维度（即环境空间）或内在维度哪一个更能预测泛化性能。
• 构建一个受控的实验框架，通过数据增强和噪声注入来调控内在维度。

提出的方法

• 在真实和合成数据集上，采用不同k近邻数的极大似然估计（MLE）来估计内在维度。
• 使用条件GAN生成具有受控内在维度的合成图像数据，其维度受潜在噪声维度的限制。
• 将不同维度的均匀采样噪声注入真实数据集（如CIFAR-10）中，系统性地提高内在维度。
• 构建FONTS数据集，通过逐步增加几何增强（如缩放、旋转等）来控制内在维度。
• 在具有不同内在维度的数据子集上训练深度神经网络，并测量其收敛所需的样本复杂度。
• 在MLE中使用多个k值（3, 4, 5, 10, 20）以确保内在维度估计的稳健性和一致性。

实验结果

研究问题

• RQ1 像MNIST、CIFAR-10和ImageNet这样的广泛使用图像数据集的内在维度是多少？
• RQ2 内在维度如何影响深度神经网络实现泛化的样本复杂度？
• RQ3 环境维度（如像素数量）是否影响泛化性能，还是内在维度才是主导因素？
• RQ4 能否利用具有已知潜在维度的GAN生成数据来验证内在维度估计工具？
• RQ5 在真实数据集中，通过数据增强或噪声注入在多大程度上可以控制内在维度？

主要发现

• 尽管每张图像有150,528个像素，ImageNet的估计内在维度在26到43之间，表明其数据具有高度结构化特征。
• 训练神经网络的样本复杂度随内在维度单调增加，且高ID与所需更多训练样本之间存在明显相关性。
• 环境维度（如像素数量）对泛化性能几乎没有影响，而内在维度与学习效率密切相关。
• 在合成数据实验中，内在维度估计值随注入噪声维度的增加而一致上升，验证了估计方法的可靠性。
• 在FONTS数据集中，每增加一个数据增强步骤，估计的内在维度也随之上升，样本复杂度也呈现相同趋势。
• 具有已知潜在维度（如256、512）的GAN生成数据，其内在维度估计值接近真实噪声维度，证实了估计流程的有效性。