[论文解读] Multidimensional Scaling for Big Data

Pedro Delicado, Cristian Pachon-Garcia|arXiv (Cornell University)|Jul 23, 2020

Face and Expression Recognition参考文献 7被引用 4

一句话总结

本文提出了两种新算法——插值MDS和分治MDS——用于在大规模数据上实现可扩展的多维尺度分析（MDS），通过利用Gower的插值公式和数据分区策略，降低内存和计算成本。作者证明，插值MDS在保持高精度的同时速度最快，在包含超过800,000个点的大型数据集（如EMNIST）上，其性能在速度和统计保真度方面均优于现有方法。

ABSTRACT

We present a set of algorithms implementing multidimensional scaling (MDS) for large data sets. MDS is a family of dimensionality reduction techniques using a $n imes n$ distance matrix as input, where $n$ is the number of individuals, and producing a low dimensional configuration: a $n imes r$ matrix with $r<

研究动机与目标

• 解决经典MDS在大规模数据集上因O(n³)时间复杂度和O(n²)空间复杂度导致的计算不可行性问题。
• 开发高效、可扩展的MDS算法，在降低内存和时间复杂度的同时保持高精度。
• 对比多种非标准MDS算法，包括新提出的算法，以识别适用于大规模数据的最优方法。
• 在模拟数据和真实世界大规模数据集（EMNIST）上实现并评估算法，以验证其性能与可扩展性。
• 开发一个R包（bigmds），为从事大规模MDS研究的科研人员和实践者提供可访问、可投入生产的工具。

提出的方法

• 提出插值MDS，一种新方法，利用Gower的插值公式将非地标点投影到由地标点导出的低维配置上，从而避免存储距离矩阵的问题。
• 提出分治MDS，将数据集划分为更小的子集，对每个子集应用经典MDS，并通过Procrustes变换对齐结果以组合配置。
• 揭示地标MDS（LMDS）中使用的三角剖分方法在数学上等价于Gower的插值公式，统一了此前两个独立的方法。
• 在一致的模拟和真实数据设置下，实现并基准测试六种MDS算法：LMDS、插值MDS、RMDS、枢轴MDS、分治MDS和快速MDS。
• 通过具有已知低维结构的模拟研究，利用与经典MDS的相关性及方差估计评估精度。
• 将所有算法应用于EMNIST数据集（n > 800,000），以测试其在真实世界中的可扩展性与性能，且无黄金标准可供比较。

实验结果

研究问题

• RQ1 与经典MDS相比，插值MDS和分治MDS是否能在显著降低计算与内存成本的同时保持高精度？
• RQ2 在大规模数据集上应用时，所提出的算法在计算效率和统计精度方面如何比较？
• RQ3 地标MDS中使用的三角剖分方法是否在数学上等价于Gower的插值公式？这对算法设计有何影响？
• RQ4 在真实世界的大数据（如EMNIST数据集）上，六种MDS算法在执行时间与可视化配置质量方面表现如何？
• RQ5 在大规模MDS应用中，哪种算法在速度、精度和内存效率之间提供了最佳权衡？

主要发现

• 所有六种算法生成的MDS配置与经典MDS高度相关（相关系数 > 0.98），表明其能有效保留潜在的低维结构。
• 在模拟实验中，插值MDS是最快算法，紧随其后的是LMDS和枢轴MDS，模拟设置下执行时间均低于100秒。
• 在模拟实验中，RMDS是最慢的算法，耗时约10分钟；而快速MDS和分治MDS耗时约3.5分钟。
• 在EMNIST数据集（n > 800,000）上，除RMDS耗时10.3分钟外，其余所有算法均在3.5分钟内完成，证实其在真实世界大规模数据中的可扩展性。
• 在EMNIST上，枢轴MDS、LMDS和插值MDS为最快，均约1.5分钟完成，展现出优异的真实世界性能。
• 推荐插值MDS作为最优选择，因其兼具速度优势、高精度（与LMDS和RMDS无明显差异），且避免了存储大型中间距离矩阵。