[论文解读] Multidimensional Scaling on Multiple Input Distance Matrices

Song Bai, Xiang Bai+2 more|arXiv (Cornell University)|May 1, 2016

Face and Expression Recognition被引用 7

一句话总结

本文提出多视角多维缩放（MVMDS），一种新颖的算法，通过学习各视角的特定权重来强调信息丰富的视角并抑制噪声视角，对多个输入距离矩阵执行多维缩放。该方法采用具有收敛性保证的迭代优化框架，在多视角数据集的聚类和检索任务中实现了最先进性能。

ABSTRACT

Multidimensional Scaling (MDS) is a classic technique that seeks vectorial representations for data points, given the pairwise distances between them. However, in recent years, data are usually collected from diverse sources or have multiple heterogeneous representations. How to do multidimensional scaling on multiple input distance matrices is still unsolved to our best knowledge. In this paper, we first define this new task formally. Then, we propose a new algorithm called Multi-View Multidimensional Scaling (MVMDS) by considering each input distance matrix as one view. Our algorithm is able to learn the weights of views (i.e., distance matrices) automatically by exploring the consensus information and complementary nature of views. Experimental results on synthetic as well as real datasets demonstrate the effectiveness of MVMDS. We hope that our work encourages a wider consideration in many domains where MDS is needed.

研究动机与目标

• 填补现有MDS方法无法处理来自异质数据源的多个输入距离矩阵的空白。
• 正式定义多视角数据上的多维缩放问题，其中每个视角提供一个独立的成对距离矩阵。
• 开发一种无监督且收敛的算法，可自动学习每个视角的重要性，而无需先验知识。
• 通过整合多视角间的互补与共识信息，提升数据表示和下游任务性能。

提出的方法

• 将MVMDS问题表述为在多个距离矩阵上最小化应力函数，并通过迭代学习各视角特定的权重。
• 引入加权应力目标函数，以平衡对输入距离矩阵的拟合度与视角间的一致性。
• 推导出一种交替优化算法，以循环方式更新嵌入配置和视角权重。
• 仅使用一个超参数来控制拟合输入距离与施加视角权重正则化之间的权衡。
• 在弱假设下证明迭代算法可收敛至驻点。
• 将该方法应用于将多视角数据投影至低维欧几里得空间，以实现可视化、降维与聚类。

实验结果

研究问题

• RQ1 如何将多维缩放扩展以处理来自不同视角的多个异质距离矩阵？
• RQ2 在多视角MDS框架中，如何有效自动学习不同视角的相对重要性？
• RQ3 能否设计一种统一的优化框架，以保证收敛性地联合学习嵌入与视角权重？
• RQ4 与单视角MDS和线性组合基线相比，所提方法在聚类与检索性能方面表现如何？
• RQ5 当使用多种视觉特征时，MVMDS在图像聚类等下游任务中能提升多少性能？

主要发现

• 在MSRC-v1和Caltech101数据集上，MVMDS在所有评估指标上均达到最高性能，优于单视角MDS和线性组合基线。
• 在Caltech101-7上，MVMDS相比最佳单视角方法（HOG）提升聚类准确率7.97%，相比线性组合基线（LC_MDS）提升14.76%。
• 在Caltech101-20上，MVMDS实现76.1%的准确率，显著优于LC_MDS（63.0%）和单视角方法。
• 该方法能有效抑制噪声视角：由于LC_MDS对所有视角等权重，导致性能劣于单个视角；而MVMDS能学习到降低无信息特征权重。
• 即使在低维嵌入（P=10）下，MVMDS仍表现优异，优于使用更高维特征（2346D）的RMKMC等方法。
• 该算法在实践中收敛稳定，多个指标（NN、FT、ST、DCG、ACC、NMI、纯度）均持续提升。