[论文解读] On Sampling and Greedy MAP Inference of Constrained Determinantal Point Processes

Tarun Kathuria, Amit Deshpande|arXiv (Cornell University)|Jul 6, 2016

Complexity and Algorithms in Graphs参考文献 19被引用 9

一句话总结

该论文提出了首个在划分约束下对确定性点过程（DPPs）进行精确采样的多项式时间算法，这是拟阵约束的一种特殊情况；同时证明了在一般拟阵约束下此类采样由于#P难问题而不可行。此外，该研究还提出了一种改进的贪心MAP推断方法，针对良好条件的核函数下的k-DPPs，提供了更优的近似保证，并通过实验验证了在较大k值下性能显著提升。

ABSTRACT

Subset selection problems ask for a small, diverse yet representative subset of the given data. When pairwise similarities are captured by a kernel, the determinants of submatrices provide a measure of diversity or independence of items within a subset. Matroid theory gives another notion of independence, thus giving rise to optimization and sampling questions about Determinantal Point Processes (DPPs) under matroid constraints. Partition constraints, as a special case, arise naturally when incorporating additional labeling or clustering information, besides the kernel, in DPPs. Finding the maximum determinant submatrix under matroid constraints on its row/column indices has been previously studied. However, the corresponding question of sampling from DPPs under matroid constraints has been unresolved, beyond the simple cardinality constrained k-DPPs. We give the first polynomial time algorithm to sample exactly from DPPs under partition constraints, for any constant number of partitions. We complement this by a complexity theoretic barrier that rules out such a result under general matroid constraints. Our experiments indicate that partition-constrained DPPs offer more flexibility and more diversity than k-DPPs and their naive extensions, while being reasonably efficient in running time. We also show that a simple greedy initialization followed by local search gives improved approximation guarantees for the problem of MAP inference from k- DPPs on well-conditioned kernels. Our experiments show that this improvement is significant for larger values of k, supporting our theoretical result.

研究动机与目标

• 为解决在拟阵约束下（特别是划分约束下）DPP精确采样方面的空白，此类约束源于数据中存在未被核函数捕捉的固有标签。
• 为具有常数个划分的划分约束下的DPP提供一个多项式时间的精确采样算法。
• 建立一个复杂性理论障碍，表明在一般拟阵约束下对DPP进行精确采样是不可行的，原因在于其#P难问题的性质。
• 通过引入一种基于贪心初始化与局部搜索的改进方法，提升k-DPPs的MAP推断性能，使其在良好条件的核函数上具备更优的近似保证。
• 通过实证验证，划分约束下的DPP能够避免传统k-DPP扩展中常见的过度/不足表示与重复问题。

提出的方法

• 提出Partition-DPPs作为一种受约束的DPP模型，尊重项目的预定义分组，确保在标签组之间实现均衡表示。
• 设计一种基于递归分解与分组子集上基于行列式的概率计算的多项式时间精确采样算法，用于Partition-DPPs。
• 通过将问题归约为二分图中完美匹配数的计数问题，证明在一般拟阵约束下对DPP采样是#P难的。
• 为k-DPPs引入一种基于贪心初始化与局部搜索的贪心MAP推断方法，利用对数行列式函数的子模性。
• 使用几何凹规划方法，实现与先前工作相同的最大行列式子矩阵近似保证，适用于划分约束。
• 在合成数据与真实世界数据集（包括图像与文本摘要任务）上实现并评估了采样与推断算法。

实验结果

研究问题

• RQ1 能否在多项式时间内实现对划分约束下DPP的精确采样，该约束是拟阵约束的一种特殊情况？
• RQ2 在一般拟阵约束下对DPP进行精确采样在计算上是否可行，还是说其本质上是不可行的？
• RQ3 在良好条件的核函数上，基于贪心初始化并结合局部搜索能否改善k-DPPs中MAP推断的近似比？
• RQ4 Partition-DPPs与标准k-DPPs及独立的k_i-DPPs相比，在避免子集选择中的过度/不足表示与重复问题方面表现如何？
• RQ5 所提出的采样与推断方法在运行时间与解质量方面的实证性能如何？

主要发现

• 所提出的算法可在任意常数个划分下，对Partition-DPPs实现多项式时间的精确采样，解决了约束DPP采样中的一个开放问题。
• 复杂性障碍表明，在一般拟阵约束下对DPP进行精确采样是#P难的，因为其可模拟二分图中完美匹配的计数问题。
• 实验表明，Partition-DPPs能有效避免在图像与文本数据中常见的过度/不足表示与重复问题，尤其在具有固有类别的数据中表现更优。
• 结合贪心初始化与局部搜索的MAP推断方法在近似保证上优于标准贪心算法，尤其在k值较大时性能提升显著，已在合成与真实世界数据集上得到验证。
• 运行时间实验表明，Partition-DPP采样在最多约50个样本、3–4个划分的情况下是可行的，运行时间随划分数量呈指数级增长，但在中等规模问题上仍具实用性。
• 在合成与真实世界匹配摘要任务中，该方法在性能上优于标准贪心与softmax最大化基线方法，尤其当k值超过20时优势更加明显。