[论文解读] Solution of the optimal assignment problem by diagonal scaling algorithms

Meisam Sharify, Stéphane Gaubert+1 more|arXiv (Cornell University)|Apr 19, 2011

Markov Chains and Monte Carlo Methods参考文献 27被引用 12

一句话总结

本文提出了一种新颖的方法，通过引入变形参数 p 的熵最大化来求解最优分配问题，表明当 p → ∞ 时，解会以指数速度收敛到最优分配矩阵。该方法使用对角缩放算法——特别是 Sinkhorn 和牛顿迭代——来计算此极限，从而实现一种可并行化的预处理步骤，可将大规模稠密问题的规模减少高达 99%，显著降低后续精确求解方法的内存需求。

ABSTRACT

We show that a solution of the optimal assignment problem can be obtained as the limit of the solution of an entropy maximization problem, as a deformation parameter tends to infinity. This allows us to apply entropy maximization algorithms to the optimal assignment problem. In particular, the Sinkhorn algorithm leads to a parallelizable method, which can be used as a preprocessing to handle large dense optimal assignment problems. This parallel preprocessing allows one to delete entries which do not belong to optimal permutations, leading to a reduced instance which becomes solvable with limited memory requirements.

研究动机与目标

• 开发一种可扩展且可并行化的预处理方法，用于大规模稠密最优分配问题，以降低内存需求。
• 建立最优分配问题与通过变形参数 p 进行熵最大化的理论联系。
• 设计一种迭代算法（变形-Sinkhorn），使其在 p → ∞ 时收敛到最优分配矩阵。
• 通过使用“对数眼镜”（log-glasses）实现数值稳定的实现，避免在计算 A^(p) 时出现溢出，尤其针对大 p 值。
• 为预处理后缩减的问题提供一个近似最优性证书，以验证其正确性。

提出的方法

• 将最优分配问题重新表述为一个带参数 p 的熵最大化问题的极限，其中目标函数为 J_p(X) = -∑x_ij(log(x_ij/a_ij^p) - 1)。
• 熵最大化问题的解 X(p) 随着 p → ∞ 以指数速度收敛到最优分配矩阵，满足 |x_ij(p) - x_ij(∞)| = O(exp(-cp))，其中 c > 0。
• 应用 Sinkhorn 算法将矩阵 A^(p) 缩放为双随机形式，使非最优分配的元素趋近于零。
• 采用基于牛顿的方法求解对角缩放问题，通过路径跟踪迭代求解 f(x) = D(x)Ax - 1 = 0，线性系统求解使用共轭梯度法。
• 预处理步骤仅保留最终缩放矩阵中具有显著值的条目，丢弃那些不太可能出现在任何最优排列中的条目。
• 通过“对数眼镜”（log-glasses）确保数值稳定性——即对数缩放，以防止在计算大 p 值时 A^(p) 出现溢出。

实验结果

研究问题

• RQ1 最优分配问题能否通过熵最大化问题的连续形变来求解？
• RQ2 当形变参数 p → ∞ 时，熵最大化问题的解是否收敛到最优分配矩阵？
• RQ3 像 Sinkhorn 或牛顿迭代这样的对角缩放算法能否在实践中高效计算该极限？
• RQ4 此类方法在保持最优性的同时，能在多大程度上减少大规模稠密最优分配问题的规模？
• RQ5 能否为大 p 值实现数值稳定的实现，避免在 A^(p) 计算中出现数值溢出？

主要发现

• 熵最大化问题的解 X(p) 随着 p → ∞ 以指数速度收敛到最优分配矩阵，误差以 O(exp(-cp)) 的速率衰减，其中 c > 0。
• 基于 Sinkhorn 的预处理方法可将稠密最优分配问题中的非零条目数减少高达 99%，在 42% 的情况下缩减至原始规模的 4% 以下。
• 在 68% 的测试案例中，问题规模减少至原始条目数的 27% 以下，显著降低了内存需求。
• 基于牛顿的变体比 Sinkhorn 变体收敛更快，所有测试矩阵均在少于 200 次迭代内完成收敛。
• 对于 pei、randcorr 和 toeppd 等矩阵，预处理步骤仅保留了属于最优排列的条目，实现了 100% 的最优分配识别准确率。
• 该方法提供了近似最优性证书，可用于验证预处理后缩减问题的正确性。