[论文解读] Subspace Determination through Local Intrinsic Dimensional Decomposition: Theory and Experimentation

Ruben Becker, Imane Hafnaoui+3 more|arXiv (Cornell University)|Jul 15, 2019

Image and Object Detection Techniques参考文献 45被引用 4

一句话总结

本文提出了一种新颖的方法，通过沿轴投影的局部内在维度（LID）分解，在高维数据中识别局部相关的特征。通过估计每个特征的LID并利用其可加性特性，该方法检测出支持聚类形成的轴对齐子空间，在具有更高内在维度的合成流形上，其子空间检测精度优于基线方法DiSH。

ABSTRACT

Axis-aligned subspace clustering generally entails searching through enormous numbers of subspaces (feature combinations) and evaluation of cluster quality within each subspace. In this paper, we tackle the problem of identifying subsets of features with the most significant contribution to the formation of the local neighborhood surrounding a given data point. For each point, the recently-proposed Local Intrinsic Dimension (LID) model is used in identifying the axis directions along which features have the greatest local discriminability, or equivalently, the fewest number of components of LID that capture the local complexity of the data. In this paper, we develop an estimator of LID along axis projections, and provide preliminary evidence that this LID decomposition can indicate axis-aligned data subspaces that support the formation of clusters.

研究动机与目标

• 为解决在高维数据中识别局部相关特征以实现子空间聚类的挑战。
• 开发一种方法，利用局部内在维度（LID）估计特征对局部数据复杂度的贡献。
• 提供一个初步且独立的子空间识别步骤，作为聚类前的预处理，以支持按簇或按点的特征相关性评估。
• 评估LID分解在检测真实子空间方面相对于现有方法（如DiSH）的有效性。
• 探索LID分解作为子空间聚类及相关任务的新原语的潜力。

提出的方法

• 本文提出了一种沿单个轴投影进行LID分解的估计器，以补偿投影过程中引入的偏差。
• 利用理论性质：在理想条件下，LID估计值在特征间具有可加性，借此识别局部邻域中的主导特征。
• 提出一种两阶段聚类流程：首先，通过LID分解将点分配至相关子空间；其次，在这些子空间内应用DBSCAN。
• 该方法使用修改后的相对非相交面积（RNIA）并引入一种新度量——平均相对相关性（ARR），用于评估子空间检测性能。
• 在具有已知流形结构的合成数据集上评估该方法，包括均匀分布、高斯分布和弯曲流形，覆盖不同内在维度。
• 结合理论分析与实证验证，评估LID估计器的可加性及其在真实场景下的收敛特性。

实验结果

研究问题

• RQ1 沿轴投影的LID分解能否有效识别高维空间中局部数据结构的最相关特征？
• RQ2 与现有方法（如DiSH）相比，基于LID的子空间检测性能在识别真实子空间方面如何？
• RQ3 在实践中，LID估计器的可加性在多大程度上得以保持，尤其是在不同数据分布下？
• RQ4 LID分解能否作为子空间聚类的可行原语，特别是在需要按簇指定特征相关性时？
• RQ5 当已知真实子空间时，评估子空间检测最合适的度量是什么？

主要发现

• LID分解方法在所有四个合成数据集上均显著优于DiSH，尤其在D4上表现突出，其平均流形维度最高。
• 在D4上，基于LID的方法获得了0.85的RNIA分数和0.78的ARR分数，表明其能有效检测真实且相关的特征。
• 该方法在检测多种流形类型（包括超立方体、高斯分布以及如莫比乌斯带般的扭曲流形）的子空间方面表现出鲁棒性。
• 实验结果表明，分解后LID的MLE估计值之和接近整体LID估计值，表明在均匀分布下具有合理的可加性。
• 所提出的平均相对相关性（ARR）度量有效捕捉了检测最相关特征的效率，即使未完全恢复所有真实特征。
• 本研究提供了初步证据，表明LID分解可通过在聚类执行前识别信息丰富的特征子集，指导子空间聚类。