[论文解读] Scalable Learning and MAP Inference for Nonsymmetric Determinantal Point Processes

Mike Gartrell, In‐Su Han+3 more|arXiv (Cornell University)|Jun 17, 2020

3D Shape Modeling and Analysis参考文献 40被引用 5

一句话总结

本文提出了一种针对非对称确定性点过程（NDPPs）的新核分解方法，将学习与推理的复杂度从与项目数 M 的二次方降低至线性。该方法实现了可扩展的训练和高效的后验最大（MAP）推理，在大规模数据集上速度比以往方法快几个数量级，同时性能与先前工作相当。

ABSTRACT

Determinantal point processes (DPPs) have attracted significant attention in machine learning for their ability to model subsets drawn from a large item collection. Recent work shows that nonsymmetric DPP (NDPP) kernels have significant advantages over symmetric kernels in terms of modeling power and predictive performance. However, for an item collection of size $M$, existing NDPP learning and inference algorithms require memory quadratic in $M$ and runtime cubic (for learning) or quadratic (for inference) in $M$, making them impractical for many typical subset selection tasks. In this work, we develop a learning algorithm with space and time requirements linear in $M$ by introducing a new NDPP kernel decomposition. We also derive a linear-complexity NDPP maximum a posteriori (MAP) inference algorithm that applies not only to our new kernel but also to that of prior work. Through evaluation on real-world datasets, we show that our algorithms scale significantly better, and can match the predictive performance of prior work.

研究动机与目标

• 为解决现有 NDPP 学习与推理方法在项目数 M 上呈二次方或三次方增长所带来的高计算与内存开销问题。
• 开发一种新型核分解方法，在保持建模能力的同时，实现线性时间与线性空间的算法。
• 推导出首个针对非对称 DPP 的高效 MAP 推理算法，适用于所提出的及以往的核分解方法。
• 通过实证验证，新方法在保持与先前预测性能相当的同时，在大规模真实世界数据集上展现出显著更好的可扩展性。

提出的方法

• 提出一种基于低秩分解的新型 NDPP 核分解方法，通过避免显式计算完整的 M×M 核矩阵，实现线性时间的学习与推理。
• 利用行列式与低秩更新的代数性质，在学习与推理过程中高效计算对数行列式。
• 设计一种针对低秩 NDPP 的贪心 MAP 推理算法，运行时间为线性时间，将对称 DPP 贪心方法扩展至非对称情形。
• 应用 DPP 条件化与核参数化技术，实现可扩展的子集扩展与参数估计。
• 采用随机近似与 MCMC 采样作为基线方法，在 MAP 推理评估中进行性能比较。
• 在包括 Amazon、UK Retail 和 Instacart 在内的真实世界数据集上进行验证，使用多种随机初始化与实验重复。

实验结果

研究问题

• RQ1 能否通过一种新的非对称 DPP 核分解方法，在保持建模能力的同时实现线性时间的学习与推理？
• RQ2 是否可能设计一种在 M 上线性扩展的高效 MAP 推理算法，适用于非对称 DPP？
• RQ3 新分解方法在真实世界子集选择任务中的预测性能与以往 NDPP 核方法相比如何？
• RQ4 在不同 MAP 推理算法中，推理速度与解质量之间的权衡如何？
• RQ5 所提出方法是否能扩展至大规模数据集（例如 M ≈ 1M），而此前方法因内存与运行时间限制变得不可行？

主要发现

• 所提出的核分解方法使学习与推理的时间与内存复杂度均与 M 呈线性关系，将 M=1M 时的存储需求从 8 TB 降低至可行规模。
• 新学习算法在 Amazon、UK Retail 与 Instacart 等真实世界数据集上的预测性能与先前工作相当。
• 所提出的贪心 MAP 推理算法与贪心局部搜索相比，相对对数行列式误差最高仅为 0.045，且速度提升达 100 倍。
• 随机贪心与 MCMC 采样方法表现出显著更高的误差（最高达 1.93），且效率较低，证实了所提贪心算法的优越性。
• 实际运行时间显示，在 Million Song 数据集上，所提贪心算法比贪心局部搜索快达 300 倍，且解质量损失可忽略。
• 该方法可扩展至大规模数据集（例如 M ≈ 1M），而此前的 NDPP 方法因内存与运行时间限制已无法适用。