[论文解读] Multidimensional Scaling: Approximation and Complexity

Erik D. Demaine, Adam Hesterberg+3 more|arXiv (Cornell University)|Sep 23, 2021

Data Visualization and Analytics被引用 5

一句话总结

本文建立了度量多维尺度缩放（MDS）中Kamada-Kawai应力目标最小化的NP难性，并为有界直径图提出了一个多项式时间近似方案（PTAS）。研究证明，即使在低维嵌入（r=1）中，找到误差范围较小的近似解在计算上也是不可行的，除非P=NP；同时，还提出了一种贪心近似算法，其在实验中表现出与基于梯度的方法相似的特性。

ABSTRACT

Metric Multidimensional scaling (MDS) is a classical method for generating meaningful (non-linear) low-dimensional embeddings of high-dimensional data. MDS has a long history in the statistics, machine learning, and graph drawing communities. In particular, the Kamada-Kawai force-directed graph drawing method is equivalent to MDS and is one of the most popular ways in practice to embed graphs into low dimensions. Despite its ubiquity, our theoretical understanding of MDS remains limited as its objective function is highly non-convex. In this paper, we prove that minimizing the Kamada-Kawai objective is NP-hard and give a provable approximation algorithm for optimizing it, which in particular is a PTAS on low-diameter graphs. We supplement this result with experiments suggesting possible connections between our greedy approximation algorithm and gradient-based methods.

研究动机与目标

• 解决度量MDS中Kamada-Kawai应力目标最小化的计算复杂性问题。
• 确定此类非凸优化问题是否存在多项式时间近似算法。
• 在低直径图的背景下，建立近似性的理论极限。
• 弥合理论难解性结果与可视化和图绘制中实际使用的启发式优化方法之间的差距。

提出的方法

• 证明了在r=1维度下，应力最小化问题的间隙版本是NP难的，即使对于有界直径的图也是如此。
• 从一个已知的NP难问题进行归约，表明在多项式时间内区分低应力与中等较高应力值是不可行的。
• 设计了一种贪心近似算法，可在有界直径D的图上实现(1+ε)-近似。
• 为常数直径图上的应力最小化设计了PTAS，其时间复杂度在n和1/ε上为多项式。
• 通过实验表明，贪心算法与基于梯度的方法在收敛行为上具有相似性。
• 使用Sherali-Adams松弛和伪分布舍入技术分析了近似保证。

实验结果

研究问题

• RQ1 在限制为图度量和低维嵌入的情况下，最小化Kamada-Kawai应力目标是否仍为NP难？
• RQ2 能否为有界直径图上的应力最小化构造出多项式时间近似方案（PTAS）？
• RQ3 贪心近似算法与基于梯度的优化在MDS中的理论关系是什么？
• RQ4 应力最小化的NP难性是否排除了完全多项式随机近似方案（FPRAS）的存在？
• RQ5 MDS的近似算法与梯度下降和应力主化等实际启发式方法有何关联？

主要发现

• 即使输入图的直径被绝对常数所限制，在r=1维度下，应力最小化问题的间隙版本也是NP难的。
• 对于有界直径D=O(1)的图，存在一个PTAS，可在n和1/ε的多项式时间内实现(1+ε)-近似。
• 该问题无法在1+1/p(n)因子内近似，其中p(n)为任意多项式，除非P=NP，因此排除了FPRAS的存在。
• 所提出的贪心近似算法在实验中表现出与基于梯度的优化方法的相似性，暗示了潜在的理论联系。
• 使用度数为O(1/ε²)的Sherali-Adams松弛，可实现(1+O(ε))-近似，且可通过舍入过程实现。
• 理论分析确认，可利用总变差距离和Pinsker不等式来界定近似误差，从而确保收敛到近似最优解。