[论文解读] Sketching, Embedding, and Dimensionality Reduction for Information Spaces

Amirali Abdullah, Ravi Kumar+3 more|arXiv (Cornell University)|Mar 17, 2015

Face and Expression Recognition参考文献 30被引用 7

一句话总结

本文提出了针对高维概率空间中信息散度（如Jensen-Shannon、Hellinger和χ²散度）的高效sketching、嵌入与降维技术。结果表明，在聚合流模型下，这些散度可在次线性空间中进行sketching，以乘法畸变嵌入低维欧氏空间，并在保持概率分布单纯形结构的同时实现降维，从而实现可扩展且可证明准确的信息-理论距离分析。

ABSTRACT

Information distances like the Hellinger distance and the Jensen-Shannon divergence have deep roots in information theory and machine learning. They are used extensively in data analysis especially when the objects being compared are high dimensional empirical probability distributions built from data. However, we lack common tools needed to actually use information distances in applications efficiently and at scale with any kind of provable guarantees. We can't sketch these distances easily, or embed them in better behaved spaces, or even reduce the dimensionality of the space while maintaining the probability structure of the data. In this paper, we build these tools for information distances---both for the Hellinger distance and Jensen--Shannon divergence, as well as related measures, like the $χ^2$ divergence. We first show that they can be sketched efficiently (i.e. up to multiplicative error in sublinear space) in the aggregate streaming model. This result is exponentially stronger than known upper bounds for sketching these distances in the strict turnstile streaming model. Second, we show a finite dimensionality embedding result for the Jensen-Shannon and $χ^2$ divergences that preserves pair wise distances. Finally we prove a dimensionality reduction result for the Hellinger, Jensen--Shannon, and $χ^2$ divergences that preserves the information geometry of the distributions (specifically, by retaining the simplex structure of the space). While our second result above already implies that these divergences can be explicitly embedded in Euclidean space, retaining the simplex structure is important because it allows us to continue doing inference in the reduced space. In essence, we preserve not just the distance structure but the underlying geometry of the space.

研究动机与目标

• 解决在高维数据分析中，针对Jensen-Shannon和χ²等信息散度缺乏可扩展且可证明准确的算法工具的问题。
• 通过在聚合流模型中展示其可行性，克服在严格转置模型下对这些散度进行sketching的已知不可能性结果。
• 实现低维嵌入，以同时保持成对距离与概率分布的底层单纯形几何结构。
• 提供维度缩减方法，以保持分布的信息几何结构，从而在降维空间中继续进行推理。
• 将现有的ℓ₁和ℓ₂范数工具扩展至信息-理论散度，从而拓宽其在机器学习与数据分析中的适用性。

提出的方法

• 提出一种确定性嵌入方法，将JS或χ²散度下的点映射到ℓ²空间，维度为O(d²/ε log(d/ε))，误差为ε的加法误差。
• 结合AMS sketching与Johnson-Lindenstrauss引理，在聚合流模型中实现(1+ε)的乘法近似，维度为O(1/ε² log(1/ε) log d)。
• 采用两步嵌入：首先映射到ℝᵏ⁺¹中的超平面L，其中∑xᵢ = 0；然后进行缩放与平移，使其适配概率单纯形Δₖ₊₁。
• 通过泰勒展开证明，具有良好行为的f-散度在单纯形中心附近近似为欧氏距离，即D_f(p,q) ≈ t·‖p−q‖₂²，当r较小时成立。
• 证明对于任意ε > 0，存在半径r与缩放因子t，使得在单纯形中心周围半径为r的球内，有(1−ε)‖p−q‖₂² ≤ t·D_f(p,q) ≤ (1+ε)‖p−q‖₂²。
• 结合ℓ²嵌入、JL引理与单纯形投影，对具有良好行为的f-散度实现(1+ε)的畸变，维度为O(log n / ε²)。

实验结果

研究问题

• RQ1 尽管在严格转置模型下存在不可能性结果，信息散度（如Jensen-Shannon和χ²）是否能在聚合流模型中实现高效sketching？
• RQ2 这些散度是否能被嵌入到低维欧氏空间中，同时保持成对距离？
• RQ3 能否在不损失概率单纯形几何结构的前提下，对这些散度实现维度缩减？
• RQ4 在单纯形中是否存在一个局部区域，使得f-散度的行为类似于平方欧氏距离，从而支持低畸变嵌入？
• RQ5 即使对于具有无限维核的散度（如JS和χ²），此类嵌入是否仍可显式计算？

主要发现

• 本文证明，JS和χ²散度可在聚合流模型中以次线性空间进行sketching，实现(1+ε)的乘法近似，维度为O(1/ε² log(1/ε) log d)。
• 实现了JS和χ²散度在ℓ²空间中的有限维嵌入，维度为O(d²/ε log(d/ε))，加法误差为ε。
• 维度缩减结果对具有良好行为的f-散度实现了(1+ε)的畸变，维度为O(log n / ε²)，同时保持了概率分布的单纯形结构。
• 在单纯形中心附近，任意具有良好行为的f-散度近似等价于平方欧氏距离，畸变在(1±ε)范围内，当r足够小时成立。
• 即使对于具有无限维核的散度（如JS和χ²），只要核能在有限维空间中以乘法误差近似，该嵌入仍可显式计算。
• 整个流程（嵌入、JL引理与单纯形投影）的总体畸变被限制在(1+ε)以内，通过误差组合实现(1+ε/4)³ ≤ 1+ε。