[论文解读] Random Projection Trees Revisited

Aman Dhesi, Purushottam Kar|arXiv (Cornell University)|Oct 19, 2010

Topological and Geometric Data Analysis参考文献 14被引用 6

一句话总结

本文為隨機投影樹（RPTrees）提供了更緊緻的理論保證，證明 RPTree-Max 所需的大小縮減層數具有近乎最佳的多對數界限，並確立 RPTree-Mean 可適應流形維度，因其低維流形具有有界局部協方差維度。研究結果改進了包裝與長寬比界限，提升了在最近鄰搜尋與聚類中的適用性。

ABSTRACT

The Random Projection Tree structures proposed in [Freund-Dasgupta STOC08] are space partitioning data structures that automatically adapt to various notions of intrinsic dimensionality of data. We prove new results for both the RPTreeMax and the RPTreeMean data structures. Our result for RPTreeMax gives a near-optimal bound on the number of levels required by this data structure to reduce the size of its cells by a factor $s \geq 2$. We also prove a packing lemma for this data structure. Our final result shows that low-dimensional manifolds have bounded Local Covariance Dimension. As a consequence we show that RPTreeMean adapts to manifold dimension as well.

研究动机与目标

• 為 RPTree-Max 提供更緊緻的層數界限，以減少細胞大小至少 s ≥ 2 倍。
• 為 RPTree-Max 中包含給定球體的最小細胞建立有效的長寬比界限，進而支援更強大的包裝引理。
• 證明 RPTree-Mean 可適應內蘊維度，透過證明低維流形具有有界局部協方差維度。
• 透過 RPTree 框架，將幾何維度概念（如加倍維度）與統計維度概念（如局部協方差維度）連結起來。

提出的方法

• 利用隨機投影與細胞在各層縮小的機率分析，證明 RPTree-Max 的廣義大小縮減引理。
• 透過分析包含固定球體 B 的最小 RPTree-Max 細胞，引入有效的長寬比界限，並運用測度集中與度量熵理論。
• 利用從有效長寬比界限推導出的包裝引理，控制與給定球體相交的不相交細胞數量。
• 證明對於任意低維流形 M，其局部協方差維度有界，並運用切空間與投影的幾何與機率論證。
• 透過隨機投影取樣隱含應用 Johnson-Lindenstrauss 引理，以維持降維特性。
• 利用隨機子空間上投影平方和可保持距離在 (1−ε) 因子內的性質，進而支援具維度感知的聚類與回歸。

实验结果

研究问题

• RQ1 RPTree-Max 為縮小細胞大小至少 s ≥ 2 倍，其所需層數是否可比先前已知界限更緊緻？
• RQ2 儘管 RPTree-Max 具有隨機結構，其是否仍具備能支援強大包裝引理的有意義長寬比保證？
• RQ3 RPTree-Mean 對內蘊維度的適應性是否可與流形維度正式連結？
• RQ4 低維流形的局部協方差維度是否為有界？若有界，其對 RPTree-Mean 性能有何影響？
• RQ5 RPTree-Max 的包裝保證是否可改進，以消除指數中 log(R/r) 的依賴？

主要发现

• RPTree-Max 為縮小細胞大小至少 s ≥ 2 倍，所需層數被界限為 (d log s)^O(1)，優於先前的界限。
• 包含固定球體 B（半徑 R）的最小 RPTree-Max 細胞，其長寬比至多為 O(d√d log d)，進而支援 (R/r)^O(log(R/r)) 界的包裝引理。
• 包裝引理顯示，與半徑 R 的球體相交且大小大於 r 的不相交細胞數量，至多為 (R/r)^O(log(R/r))（固定 d 時）。
• 低維流形具有有界局部協方差維度，這表示 RPTree-Mean 可適應流形維度。
• 包含球體 B 的最小細胞之長寬比被界限為 O(R d√d log d)，其內接球半徑為 R，外接球半徑為 O(R d√d log d)。
• 若流形上存在距離函數的局部極值點，局部協方差維度定義中的半徑參數可由 √ετ/3 改進至 √ετ/2。