[论文解读] Practical Algorithms for Learning Near-Isometric Linear Embeddings

Jerry Luo, Kayla Shapiro+3 more|arXiv (Cornell University)|Jan 1, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用 4

一句话总结

本文提出了两种非凸优化算法——FroMax 和 NILE-Pro，用于学习近等距线性嵌入，以保留高维数据中的成对距离。通过使用弗罗贝尼乌斯范数最小化和受限等距性质（RIP）约束重新表述问题，这两种方法在收敛速度和计算效率方面均优于先前的凸方法（如 NuMax），尤其适用于大规模机器学习和信号处理任务。

ABSTRACT

We propose two practical non-convex approaches for learning near-isometric, linear embeddings of finite sets of data points. Given a set of training points $\mathcal{X}$, we consider the secant set $S(\mathcal{X})$ that consists of all pairwise difference vectors of $\mathcal{X}$, normalized to lie on the unit sphere. The problem can be formulated as finding a symmetric and positive semi-definite matrix $\boldsymbolΨ$ that preserves the norms of all the vectors in $S(\mathcal{X})$ up to a distortion parameter $δ$. Motivated by non-negative matrix factorization, we reformulate our problem into a Frobenius norm minimization problem, which is solved by the Alternating Direction Method of Multipliers (ADMM) and develop an algorithm, FroMax. Another method solves for a projection matrix $\boldsymbolΨ$ by minimizing the restricted isometry property (RIP) directly over the set of symmetric, postive semi-definite matrices. Applying ADMM and a Moreau decomposition on a proximal mapping, we develop another algorithm, NILE-Pro, for dimensionality reduction. FroMax is shown to converge faster for smaller $δ$ while NILE-Pro converges faster for larger $δ$. Both non-convex approaches are then empirically demonstrated to be more computationally efficient than prior convex approaches for a number of applications in machine learning and signal processing.

研究动机与目标

• 解决如 NuMax 等凸确定性方法在学习近等距线性嵌入时计算效率低下的问题。
• 开发实用的非凸优化框架，以在允许的失真参数 δ 范围内保持成对距离范数。
• 在保持高嵌入保真度的同时，提升大规模数据集的计算速度和可扩展性。
• 通过构建低秩、近等距嵌入，实现高效的近似最近邻（ANN）计算。
• 提供 NuMax 中凸半定规划方法的替代方案，在不损失精度的前提下实现更快的计算速度。

提出的方法

• 将近等距嵌入问题重新表述为对称正半定矩阵 Ψ 的弗罗贝尼乌斯范数最小化，以保持割线向量范数。
• 在 FroMax 中应用增广拉格朗日乘子法（ADMM）求解非凸优化问题，实现小 δ 值下的快速收敛。
• 通过直接在对称正半定矩阵上使用 ADMM 和 Moreau 分解最小化受限等距性质（RIP），开发 NILE-Pro。
• 引入秩调整和列生成技术，通过迭代优化嵌入秩和处理大规模割线集，使两种算法可扩展至大规模数据集。
• 使用由训练数据成对差分向量归一化形成的割线集 S(X)，作为范数保持的核心几何约束。
• 以 Johnson-Lindenstrauss 引理作为理论动机，但开发的是确定性、数据相关的嵌入，而非随机投影。

实验结果

研究问题

• RQ1 非凸优化方法是否能在计算效率方面优于如 NuMax 的凸公式化方法，用于学习近等距线性嵌入？
• RQ2 在高维数据中，FroMax 在保持最近邻关系方面与 NuMax 相比表现如何？
• RQ3 对于较大的失真参数 δ，NILE-Pro 是否比 FroMax 具有更快的收敛速度？
• RQ4 秩调整和列生成技术能否有效集成到非凸嵌入算法中，以实现对大规模数据集的可扩展性？
• RQ5 与先前的凸方法相比，FroMax 和 NILE-Pro 在降低计算复杂度的同时，能在多大程度上保持嵌入保真度？

主要发现

• 对于较小的失真参数 δ，FroMax 的收敛速度优于 NuMax，表明在高精度场景下具有更高的效率。
• 对于较大的 δ 值，NILE-Pro 的收敛速度优于 FroMax，表明两种方法在不同失真水平下具有互补的性能特征。
• 在较低嵌入秩下，FroMax CG 的近似最近邻性能与 NuMax CG 相当或更优，表明其具有更高的数据压缩效率。
• FroMax 和 NILE-Pro 在经验上均比先前的凸方法（如 NuMax）更具计算效率，尤其适用于大规模数据集。
• 列生成与秩调整技术的集成，使两种算法在保持嵌入质量的同时，能有效扩展至大规模数据集。
• 在 LabelMe 数据集（512D GIST 描述符）上的实证结果表明，FroMax CG 在降低秩的同时，仍能保持或提升 ANN 准确率，优于 NuMax CG。