[论文解读] The Bethe and Sinkhorn Permanents of Low Rank Matrices and Implications for Profile Maximum Likelihood

Nima Anari, Moses Charikar+2 more|arXiv (Cornell University)|Apr 6, 2020

Markov Chains and Monte Carlo Methods参考文献 43被引用 5

一句话总结

本论文提出了一类多项式时间算法，通过低秩矩阵的Bethe和Sinkhorn永久值来近似离散分布的轮廓最大似然（PML）。通过建立对非负低秩矩阵永久值的更紧界，并利用Vandermonde结构将其与PML计算关联，该方法将近似因子提升至exp(−O(√n log n))，优于先前的exp(−O(n^{2/3} log n))界限。

ABSTRACT

In this paper we consider the problem of computing the likelihood of the profile of a discrete distribution, i.e., the probability of observing the multiset of element frequencies, and computing a profile maximum likelihood (PML) distribution, i.e., a distribution with the maximum profile likelihood. For each problem we provide polynomial time algorithms that given $n$ i.i.d.\ samples from a discrete distribution, achieve an approximation factor of $\exp\left(-O(\sqrt{n} \log n) ight)$, improving upon the previous best-known bound achievable in polynomial time of $\exp(-O(n^{2/3} \log n))$ (Charikar, Shiragur and Sidford, 2019). Through the work of Acharya, Das, Orlitsky and Suresh (2016), this implies a polynomial time universal estimator for symmetric properties of discrete distributions in a broader range of error parameter. We achieve these results by providing new bounds on the quality of approximation of the Bethe and Sinkhorn permanents (Vontobel, 2012 and 2014). We show that each of these are $\exp(O(k \log(N/k)))$ approximations to the permanent of $N imes N$ matrices with non-negative rank at most $k$, improving upon the previous known bounds of $\exp(O(N))$. To obtain our results on PML, we exploit the fact that the PML objective is proportional to the permanent of a certain Vandermonde matrix with $\sqrt{n}$ distinct columns, i.e. with non-negative rank at most $\sqrt{n}$. As a by-product of our work we establish a surprising connection between the convex relaxation in prior work (CSS19) and the well-studied Bethe and Sinkhorn approximations.

研究动机与目标

• 开发从离散分布的独立同分布样本中计算轮廓最大似然（PML）分布的高效算法。
• 在多项式时间内将PML计算的近似因子改进至超越先前最优的exp(−O(n^{2/3} log n))。
• 为低秩非负矩阵的Bethe和Sinkhorn近似永久值建立更紧的界。
• 将先前工作中使用的凸松弛技术与广泛研究的Bethe和Sinkhorn永久值近似方法联系起来。
• 实现更广泛的样本最优通用估计，适用于离散分布的对称属性。

提出的方法

• 利用PML目标函数与具有√n个不同列的Vandermonde矩阵的永久值成正比这一事实，该矩阵的非负秩至多为√n。
• 提出新界，表明Bethe和Sinkhorn永久值对任意N×N非负矩阵（秩≤k）的永久值近似误差因子在exp(O(k log(N/k)))以内。
• 通过引理6.15中的对角结构和舍入技术，控制永久值估计过程中的近似误差。
• 将Bethe和Sinkhorn近似作为启发式方法，用于估计低秩矩阵的永久值，进而计算β-近似PML分布。
• 采用凸松弛框架，并通过log-sum-exp项的结构引理和不等式，将其与Bethe/Sinkhorn近似联系起来。
• 通过分析指数中的类似熵项，推导出近似永久值与真实永久值之比的下界，确保近似因子至少为exp(−O(√n log n))。

实验结果

研究问题

• RQ1 轮廓最大似然（PML）分布能否在改进近似保证下更高效地计算？
• RQ2 在多项式时间内，PML的最优近似因子能达到多好？能否超越exp(−O(n^{2/3} log n))？
• RQ3 Bethe和Sinkhorn近似在多大程度上能有效估计低秩非负矩阵的永久值？
• RQ4 在永久值估计背景下，凸松弛方法与Bethe/Sinkhorn近似之间是否存在结构性联系？
• RQ5 更紧的永久值近似界是否能推动对称属性估计中更广范围的样本最优性？

主要发现

• 本论文证明，Bethe和Sinkhorn永久值对任意N×N非负矩阵（秩至多为k）的永久值近似误差因子在exp(O(k log(N/k)))以内，优于先前的exp(O(N))界限。
• 在PML计算中，该方法实现了exp(−O(√n log n))的近似因子，优于先前在多项式时间内可达到的最佳已知界限exp(−O(n^{2/3} log n))。
• 研究表明，PML目标函数与具有√n个不同列的Vandermonde矩阵的永久值成正比，且该矩阵的非负秩至多为√n，从而可应用低秩永久值界。
• 该工作揭示了先前工作（CSS19）中使用的凸松弛方法与Bethe和Sinkhorn近似之间存在出人意料的联系，统一了此前两种不同的方法。
• 改进的近似因子使得对离散分布的对称属性，可实现样本复杂度最优的通用估计器，适用于更广泛的误差参数范围，包括ε > n^{−0.249}。
• 分析证明，近似永久值与真实永久值之比至少为exp(−O(√n log n))，通过结构引理和舍入条件对指数中的类似熵项进行有界处理。