[论文解读] The Shape of Data: Intrinsic Distance for Data Distributions

Anton Tsitsulin, Marina Munkhoeva+5 more|arXiv (Cornell University)|May 27, 2019

Data Visualization and Analytics参考文献 46被引用 22

一句话总结

本文提出 IMD（内在多尺度距离），一种通过利用数据流形的内在几何特性，基于谱 Gromov-Wasserstein 距离的下界，来比较数据分布的新方法。通过使用基于 Hutchinson 迹估计器的热迹近似和基于 Lanczos 的矩阵函数计算，IMD 实现了对未对齐数据流形的高效、多尺度比较，计算复杂度接近线性，优于依赖低阶矩且无法捕捉全局几何结构的外在度量（如 FID 和 KID），在检测结构差异方面表现更优。

ABSTRACT

The ability to represent and compare machine learning models is crucial in order to quantify subtle model changes, evaluate generative models, and gather insights on neural network architectures. Existing techniques for comparing data distributions focus on global data properties such as mean and covariance; in that sense, they are extrinsic and uni-scale. We develop a first-of-its-kind intrinsic and multi-scale method for characterizing and comparing data manifolds, using a lower-bound of the spectral variant of the Gromov-Wasserstein inter-manifold distance, which compares all data moments. In a thorough experimental study, we demonstrate that our method effectively discerns the structure of data manifolds even on unaligned data of different dimensionalities; moreover, we showcase its efficacy in evaluating the quality of generative models.

研究动机与目标

• 为解决 FID 和 KID 等外在、单尺度度量的局限性，这些度量仅依赖低阶矩，无法捕捉全局几何结构。
• 开发一种基于内在几何特性的数据分布比较方法，独立于外部表示或对齐操作。
• 实现对不同维度或未对齐结构的数据流形（如跨语言词嵌入或神经网络表示）的有效比较。
• 提供一种可扩展、计算高效的现有几何度量替代方案，并通过理论与实证验证其鲁棒性。
• 展示多尺度内在比较在评估生成模型和追踪模型动态方面的有效性。

提出的方法

• 该方法从输入数据构建 k-NN 图，以近似拉普拉斯-贝尔特拉米算子的谱，从而捕捉内在流形几何结构。
• 通过使用随机向量的 Hutchinson 迹估计器，近似矩阵函数的迹，计算图拉普拉斯矩阵的热迹。
• 采用 m=10 步的 Lanczos 算法，高效估计热迹所需的二次型，确保接近线性时间复杂度。
• 通过在对数网格上对时间尺度 t ∈ (0.1, 10) 比较不同时间尺度下的热迹，近似谱 Gromov-Wasserstein 下界。
• 最终距离通过热迹绝对差值的上确界计算，权重为指数衰减因子。
• 该方法采用近似 k-NN 图以保持可扩展性，使用默认参数时复杂度为 O(n_v (m log m + k m n))。

实验结果

研究问题

• RQ1 内在的、多尺度的距离度量能否检测到外在度量（如 FID 和 KID）所遗漏的数据分布中的结构差异？
• RQ2 IMD 在比较未对齐的数据流形（如无共享词汇表的跨语言词嵌入）时表现如何？
• RQ3 IMD 是否能有效追踪训练或模型演化过程中神经网络中间表示的变化？
• RQ4 与 FID、KID 和 Geometry Score 等现有度量相比，IMD 在可扩展性和稳定性方面表现如何？
• RQ5 与基于矩的外在度量相比，多尺度内在比较是否能带来更可靠的生成模型评估？

主要发现

• 在具有相同前三阶矩的合成示例中，即使 FID 和 KID 报告接近零的分数，IMD 仍能成功检测到数据分布的全局结构差异。
• 在 Hutchinson 估计器中仅使用 100 个随机向量时，迹估计的相对误差约为 10^-3，验证了其数值准确性。
• IMD 的计算复杂度接近线性，优于 FID（O(d³ + dn)）和 KID（O(dn²)），且在样本规模增大时，其扩展性优于呈现指数增长的 Geometry Score。
• 在跨语言词嵌入实验中，IMD 能有效比较未对齐的词汇表，揭示了外在度量所忽略的有意义语义差异。
• IMD 在不同数据维度和流形结构下均表现出一致且稳定的性能，证明了其对表示变化的鲁棒性。
• 该方法通过捕捉多尺度几何特性，使生成模型的评估更加可靠，提供了超越均值与协方差匹配的深入洞察。