[论文解读] Multidimensional Scaling, Sammon Mapping, and Isomap: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Sep 17, 2020

Face and Expression Recognition参考文献 46被引用 22

一句话总结

本教程与综述全面概述了多维尺度变换（MDS）、Sammon映射和Isomap，详细阐述了其理论基础、数学公式及实际实现。介绍了基于特征函数和核映射的样本外扩展方法，并通过Nyström近似提出基于地标点的MDS与Isomap的可扩展变体，通过MNIST数据集上的仿真验证了其在低维嵌入中保持全局数据结构的有效性。

ABSTRACT

Multidimensional Scaling (MDS) is one of the first fundamental manifold learning methods. It can be categorized into several methods, i.e., classical MDS, kernel classical MDS, metric MDS, and non-metric MDS. Sammon mapping and Isomap can be considered as special cases of metric MDS and kernel classical MDS, respectively. In this tutorial and survey paper, we review the theory of MDS, Sammon mapping, and Isomap in detail. We explain all the mentioned categories of MDS. Then, Sammon mapping, Isomap, and kernel Isomap are explained. Out-of-sample embedding for MDS and Isomap using eigenfunctions and kernel mapping are introduced. Then, Nystrom approximation and its use in landmark MDS and landmark Isomap are introduced for big data embedding. We also provide some simulations for illustrating the embedding by these methods.

研究动机与目标

• 提供经典MDS、度量MDS、非度量MDS、Sammon映射和Isomap的统一理论与实践教程。
• 解释基于特征函数和核映射的MDS与Isomap样本外嵌入技术。
• 介绍通过Nyström近似实现的基于地标点的MDS与Isomap的可扩展大规模流形学习方法。
• 通过MNIST数据集上的仿真验证方法，展示低维嵌入中对全局数据结构的保持效果。

提出的方法

• 经典MDS被表述为输入与嵌入格拉姆矩阵之间Frobenius范数的最小化问题，通过双中心化距离矩阵的特征值分解求解。
• Sammon映射被引入为一种特殊的度量MDS，其通过最小化基于点对间相对距离的应力函数来实现，采用迭代方法求解。
• Isomap被呈现为使用最短路径在邻域图上计算测地线距离的核经典MDS变体，从而实现非线性流形学习。
• 基于核矩阵的特征函数和核映射，推导出MDS与Isomap的样本外扩展方法，使新数据点的嵌入成为可能。
• 地标MDS与地标Isomap利用Nyström近似计算距离矩阵与核矩阵的低秩近似，显著降低大规模数据集的计算成本。
• MNIST数据集上的仿真使用2000个训练样本与500个测试样本，通过可视化嵌入结果评估各方法在结构保持方面的表现。

实验结果

研究问题

• RQ1 经典MDS、度量MDS、非度量MDS、Sammon映射和Isomap在优化目标与几何解释上存在哪些差异？
• RQ2 MDS与Isomap样本外扩展的理论基础是什么？如何利用特征函数与核映射实现嵌入的泛化？
• RQ3 Nyström近似如何实现基于地标点的MDS与Isomap在大规模数据集上的可扩展流形学习？
• RQ4 这些方法在低维嵌入中在多大程度上保持了全局数据结构与类别可分性？以MNIST数据集上的实证结果为例。

主要发现

• 经典MDS与PCA在旋转与反射下产生等价的嵌入，验证了其在保持内积结构方面的理论等价性。
• Sammon映射生成了有意义的嵌入，使相似数字（如6与8、7与9）在空间中彼此靠近，但需要迭代优化，计算速度较慢。
• Isomap嵌入呈现出‘八爪鱼状’结构，具有明显聚类与拉长的流形，反映了基于测地线距离的非线性结构学习特性。
• 采用余弦核的核Isomap能更好地保持全局结构，并提升标准Isomap在非线性流形数据上的可分性。
• 基于特征函数与核映射的样本外扩展方法成功将MDS与Isomap推广至新数据，Isomap中因测地线距离计算的近似导致轻微均值偏移。
• 基于Nyström近似的地标MDS与地标Isomap显著降低了计算成本，同时保持了嵌入质量，使大规模数据集上的可扩展流形学习成为可能。