[论文解读] Visualizing and Exploring Dynamic High-Dimensional Datasets with LION-tSNE

Andrey Boytsov, François Fouquet+2 more|arXiv (Cornell University)|Aug 16, 2017

Neural Networks and Applications参考文献 7被引用 13

一句话总结

本文提出 LION-tSNE，一种通过局部插值和异常值控制动态更新 t-SNE 可视化的技术。该方法可实现对动态高维数据集的鲁棒、实时可视化，同时保持聚类结构并准确分离异常值，在准确性和异常值检测方面优于现有插值与近似技术。

ABSTRACT

T-distributed stochastic neighbor embedding (tSNE) is a popular and prize-winning approach for dimensionality reduction and visualizing high-dimensional data. However, tSNE is non-parametric: once visualization is built, tSNE is not designed to incorporate additional data into existing representation. It highly limits the applicability of tSNE to the scenarios where data are added or updated over time (like dashboards or series of data snapshots). In this paper we propose, analyze and evaluate LION-tSNE (Local Interpolation with Outlier coNtrol) - a novel approach for incorporating new data into tSNE representation. LION-tSNE is based on local interpolation in the vicinity of training data, outlier detection and a special outlier mapping algorithm. We show that LION-tSNE method is robust both to outliers and to new samples from existing clusters. We also discuss multiple possible improvements for special cases. We compare LION-tSNE to a comprehensive list of possible benchmark approaches that include multiple interpolation techniques, gradient descent for new data, and neural network approximation.

研究动机与目标

• 为解决 t-SNE 在处理动态或流式数据时的局限性，即无法轻松将新样本添加到现有可视化中。
• 开发一种在引入新数据点时能保持聚类结构并维持视觉保真度的方法。
• 在新数据嵌入过程中提高对异常值的鲁棒性，而现有插值方法往往无法处理此类问题。
• 对 LION-tSNE 与一系列全面的基线方法（包括梯度下降、神经网络及多种插值技术）进行系统性评估。
• 在仪表板、时间序列数据和动态数据集等应用中，实现交互式和实时的数据探索。

提出的方法

• LION-tSNE 在训练数据点附近使用局部插值，将新样本映射到现有的 t-SNE 嵌入空间中。
• 采用带有限定半径的反距离加权（IDW）方法，确保邻近点的平滑且局部的影响，通过归一化和超出半径 r 时过渡至零的函数实现。
• 通过识别在训练集中无邻近点的数据点来执行异常值检测；此类点被映射到嵌入空间中的随机孤立位置。
• 为防止跨聚类产生误导性插值，该方法检查 y 空间中邻居之间的空间距离；若距离超过阈值，则排除最远的邻居参与插值。
• 通过重用现有 t-SNE 嵌入并仅计算新数据的坐标，实现增量更新，避免完整重训练。
• 一种变体允许通过在预定义半径内将异常值重新定位到其前一位置附近，来追踪其微小的位置变化。

实验结果

研究问题

• RQ1 基于半径加权的局部插值能否提供一种稳定且准确的方法，将新数据嵌入到现有 t-SNE 可视化中？
• RQ2 当新数据点属于已有聚类时，LION-tSNE 在保持聚类结构方面表现如何？
• RQ3 在嵌入准确性和异常值分离方面，LION-tSNE 相较于其他插值与近似技术的优越程度如何？
• RQ4 当数据点在聚类间发生转移时（如从一个聚类移动到另一个聚类），此类空间聚类转换对嵌入稳定性与正确性有何影响？
• RQ5 如何改进异常值处理，以反映其与训练点的距离，并随时间追踪其微小的位置变化？

主要发现

• 在评估中，LION-tSNE 在所有基线方法中取得了最高的准确性，其在主要准确性指标上与表现最佳的替代方法并列。
• 它在异常值分离方面表现最佳，能清晰区分异常值与内点聚类，而其他方法未能一致实现此效果。
• 即使在添加属于已有聚类的新数据点时，该方法仍能保持稳定且有意义的聚类结构，避免失真。
• 结合空间约束的局部插值显著减少了远距离点的影响，提升了鲁棒性与视觉保真度。
• 该算法对聚类间的数据转换表现出鲁棒性，当聚类归属发生变化时，嵌入位置会出现突然变化，从而防止产生误导性插值。
• 未来通过引入快速最近邻搜索等改进，有望进一步提升大规模数据集的可扩展性，尽管当前实现已支持实时更新。