[论文解读] Project and Forget: Solving Large Scale Metric Constrained Problems

Anna C. Gilbert, Rishi Sonthalia|arXiv (Cornell University)|Sep 25, 2019

Machine Learning and Algorithms参考文献 29被引用 5

一句话总结

本文提出 Project and Forget，一种使用 Bregman 投影的主动集算法，用于求解具有大量不等式约束的大规模度量约束问题。该方法保证全局收敛，并实现 $L_2$ 误差的指数衰减，且在求解大规模度量接近性、相关性聚类和度量学习问题时，性能优于当前最先进的方法。

ABSTRACT

Given a set of dissimilarity measurements amongst data points, determining what metric representation is most consistent with the input measurements or the metric that best captures the relevant geometric features of the data is a key step in many machine learning algorithms. Existing methods are restricted to specific kinds of metrics or small problem sizes because of the large number of metric constraints in such problems. In this paper, we provide an active set algorithm, Project and Forget, that uses Bregman projections, to solve metric constrained problems with many (possibly exponentially) inequality constraints. We provide a theoretical analysis of extsc{Project and Forget} and prove that our algorithm converges to the global optimal solution and that the $L_2$ distance of the current iterate to the optimal solution decays asymptotically at an exponential rate. We demonstrate that using our method we can solve large problem instances of three types of metric constrained problems: general weight correlation clustering, metric nearness, and metric learning; in each case, out-performing the state of the art methods with respect to CPU times and problem sizes.

研究动机与目标

• 为解决具有海量不等式约束的大规模度量约束优化问题提供方案。
• 克服现有方法在问题规模受限或仅适用于特定度量类型方面的局限性。
• 开发一种可扩展且高效的算法，在保持理论收敛保证的同时，处理一般度量约束。

提出的方法

• 该算法采用主动集策略，迭代识别并强制执行最相关的度量约束。
• 它应用 Bregman 投影，将迭代点高效地投影到由活动约束定义的可行集上。
• 该方法基于违反检测，动态地将约束添加或移除出主动集，从而实现对大规模甚至指数级约束数量的可扩展性。
• 它利用 Bregman 散度的结构，确保收敛性并保持计算效率。
• 该算法被设计用于在统一框架下处理一般度量约束，包括三角不等式和非负性。
• 它渐近地以指数速率减少当前迭代点与最优解之间的 $L_2$ 距离，确保快速收敛。

实验结果

研究问题

• RQ1 使用 Bregman 投影的主动集算法能否高效且可靠地求解具有指数级约束数量的大规模度量约束问题？
• RQ2 所提出的方法是否保证全局收敛性以及 $L_2$ 误差的指数收敛速率？
• RQ3 在 CPU 时间和不同度量学习任务中的可扩展性方面，Project and Forget 的性能与当前最先进的方法相比如何？

主要发现

• Project and Forget 全局收敛至度量约束问题的最优解，且具有理论保证。
• 当前迭代点与最优解之间的 $L_2$ 距离渐近地以指数速率衰减。
• 该方法成功求解了通用权重相关性聚类、度量接近性以及度量学习问题的大规模实例。
• 在所有三种问题类型中，其在 CPU 时间和问题规模可扩展性方面均优于当前最先进的方法。
• 该算法在处理具有极多约束（可能为指数规模）的问题时，效率未受影响。
• 实验结果验证了理论收敛速率，并在大规模基准测试中展示了显著的速度提升。