[论文解读] Using the Johnson-Lindenstrauss lemma in linear and integer programming

Ky Vu, Pierre‐Louis Poirion+1 more|arXiv (Cornell University)|Jul 3, 2015

Sparse and Compressive Sensing Techniques参考文献 5被引用 5

一句话总结

本文提出利用Johnson-Lindenstrauss引理，通过将约束投影到低维子空间，降低大规模线性规划与整数规划可行性问题的维度，从而在高概率下保持可行性。该方法在密集实例上实现了高达100倍的加速，同时在各种分布下可行性预测的准确率超过99%。

ABSTRACT

The Johnson-Lindenstrauss lemma allows dimension reduction on real vectors with low distortion on their pairwise Euclidean distances. This result is often used in algorithms such as $k$-means or $k$ nearest neighbours since they only use Euclidean distances, and has sometimes been used in optimization algorithms involving the minimization of Euclidean distances. In this paper we introduce a first attempt at using this lemma in the context of feasibility problems in linear and integer programming, which cannot be expressed only in function of Euclidean distances.

研究动机与目标

• 探索Johnson-Lindenstrauss引理在线性与整数规划中的应用，其中可行性取决于几何锥体成员关系，而非成对距离。
• 确定通过随机投影进行维数约简是否能在高概率下保持大规模LP与ILP问题的可行性。
• 评估投影后问题与原始问题在密集与稀疏设置下的计算性能与准确性。
• 建立基于JLL框架的随机投影下可行性失真程度的理论与经验边界。

提出的方法

• 将Johnson-Lindenstrauss引理应用于将约束矩阵 $ A $ 和右端向量 $ b $ 投影到低维空间 $ \mathbb{R}^k $，其中 $ k = O(\varepsilon^{-2} \log n) $，以在最多 $ \varepsilon $ 的失真下保持 $ A $ 的列之间的成对距离。
• 原始问题 $ Ax = b, x \geq 0 $ 的可行性被简化为检查 $ b \in \text{cone}(A) $，并改而求解投影后的问题 $ T(A)x = T(b), x \in X $。
• 使用具有独立同分布标准正态分布条目 $ \mathcal{N}(0, 1/\sqrt{k}) $ 的随机投影矩阵 $ P \in \mathbb{R}^{k \times m} $ 来实现变换 $ T(y) = Py $。
• 理论分析表明，若原始问题不可行，则在投影保持锥体几何结构的前提下，投影后问题也以高概率保持不可行。
• 计算实验通过JuMP调用CPLEX 12.6求解原始问题与投影后问题，测量准确率（不可行性一致的百分比）与性能（CPU时间）。
• 对于密集实例，该方法仅计算一次 $ PA $，然后求解更小的投影后问题，实现了显著的加速，同时保持了高可行性准确率。

实验结果

研究问题

• RQ1 Johnson-Lindenstrauss引理是否可用于降低大规模线性规划可行性问题的维数，同时以高概率保持可行性？
• RQ2 在投影后的ILP与LP可行性问题中，维数约简与准确率之间的权衡如何？
• RQ3 投影后问题在CPU时间与可扩展性方面与原始问题相比表现如何？
• RQ4 该方法在约束矩阵的不同分布（均匀、指数、伽马）下是否依然有效？
• RQ5 稀疏性对投影方法的准确率与性能有何影响？

主要发现

• 对于密集的LP与IP实例，投影方法在保持不可行性方面准确率超过99%，在最大测试案例（如1600×2000）中达到100%一致，表明其高度可靠。
• 平均加速超过100倍，原始问题求解时间最长达275.8秒，投影后版本缩短至1秒以内（例如，1000×1500均匀LP中为8.84秒 vs. 0.31秒）。
• 该方法在均匀与指数分布下表现强劲，1400×1500与1600×2000 LP的准确率均超过99%。
• 对于稀疏实例，方法虽准确但性能较差，表明在稀疏场景下存在局限性。
• 与求解器时间相比，矩阵乘法 $ PA $ 的计算开销可忽略不计，使该方法在密集问题中具有实际可行性。
• 在所有分布下，该方法在500×800与700×800 IP实例上均保持100%准确率，表明其在小规模整数规划中的鲁棒性。