[论文解读] Supervised Dimensionality Reduction and Visualization using Centroid-encoder

Tomojit Ghosh, M. Kirby|arXiv (Cornell University)|Feb 27, 2020

Data Visualization and Analytics被引用 14

一句话总结

本文提出了一种名为中心点编码器（Centroid-Encoder, CE）的监督维数缩减方法，该方法利用类别标签，在基于自编码器的非线性维数缩减过程中将数据点映射到其类别中心。CE 在低维空间中捕获了高达 89% 的方差，显著优于当前最先进方法，同时保留了类别结构，并可在无需微调的情况下实现对新数据的高效推理。

ABSTRACT

Visualizing high-dimensional data is an essential task in Data Science and Machine Learning. The Centroid-Encoder (CE) method is similar to the autoencoder but incorporates label information to keep objects of a class close together in the reduced visualization space. CE exploits nonlinearity and labels to encode high variance in low dimensions while capturing the global structure of the data. We present a detailed analysis of the method using a wide variety of data sets and compare it with other supervised dimension reduction techniques, including NCA, nonlinear NCA, t-distributed NCA, t-distributed MCML, supervised UMAP, supervised PCA, Colored Maximum Variance Unfolding, supervised Isomap, Parametric Embedding, supervised Neighbor Retrieval Visualizer, and Multiple Relational Embedding. We empirically show that centroid-encoder outperforms most of these techniques. We also show that when the data variance is spread across multiple modalities, centroid-encoder extracts a significant amount of information from the data in low dimensional space. This key feature establishes its value to use it as a tool for data visualization.

研究动机与目标

• 为解决如 PCA 和自编码器等无监督方法在可视化过程中难以保持类别可分性的问题。
• 开发一种利用类别标签最小化潜在空间中类内方差的监督维数缩减技术。
• 创建一种能够高效捕获全局数据方差和低维嵌入中拓扑结构的方法。
• 提供一种可训练、可泛化的映射方法，用于新数据的推理而无需重新训练，与需要完整重新计算的谱方法形成对比。

提出的方法

• 中心点编码器通过在瓶颈层训练输入数据点映射到其对应类别中心，对标准自编码器进行改进。
• 采用对称架构（例如 784→784→784），并使用 tanh 激活函数，以确保平滑的非线性变换。
• 损失函数结合了重构误差和一个将编码点拉向其类别特定中心的中心正则化项。
• 该方法采用两阶段训练流程：首先对自编码器进行预训练，然后加入中心约束进行微调。
• 所得潜在表示通过 PCA 或其他线性方法进行可视化，以保留类别结构。
• 该模型可通过学习到的编码器对新数据进行推理，避免了谱方法所需的在完整数据集上重新计算的开销。

实验结果

研究问题

• RQ1 监督自编码器架构是否能有效在低维嵌入中保留类别结构，同时捕获高比例方差？
• RQ2 在方差捕获能力和可视化质量方面，中心点编码器与当前最先进监督与无监督维数缩减技术相比表现如何？
• RQ3 在基准数据集上，CE 方法是否在类别可分性方面优于 PCA、t-SNE、UMAP 等非线性方法？
• RQ4 与基于距离的方法（如 NCA 或 UMAP）相比，CE 方法在计算成本方面降低了多少？
• RQ5 CE 模型是否能像谱嵌入技术一样在无需重新训练的情况下泛化到新数据？

主要发现

• 对于 MNIST 4/9 子集，中心点编码器在潜在空间的前 100 个维度中捕获了约 89% 的总数据方差，而原始数据中仅捕获了 22%。
• 使用 PCA 对转换后数据进行的 CE 基于可视化能清晰地区分类别（例如数字 4 和 9），而标准 PCA 无法实现这一点。
• CE 在保留全局数据结构和类别可分性方面优于大多数竞争方法，包括监督 UMAP、SPCA、NCA 和 t-SNE。
• 尽管无需计算成对距离，CE 在预测误差方面仍达到与当前最先进方法相当的性能。
• CE 的计算复杂度随数据规模线性增长，而基于距离的方法复杂度为二次方，因此在大规模数据集上更具效率。
• 该模型可在无需重新训练的情况下对新数据进行推理，而谱方法则需要在完整数据集上重新计算特征向量。