[论文解读] Submodular meets Structured: Finding Diverse Subsets in Exponentially-Large Structured Item Sets

Adarsh Prasad, Stefanie Jegelka+1 more|arXiv (Cornell University)|Nov 6, 2014

Topic Modeling参考文献 24被引用 30

一句话总结

该论文提出了一种新颖的框架，通过利用其边际增益具有结构化表示的子模函数，在视觉和自然语言处理中常见的指数级庞大结构化输出空间中，高效地寻找多样且高质量的子集。通过将贪心子模最大化问题转化为具有高阶势函数（HOPs）的因子图中的最大后验（MAP）推理，该方法实现了亚线性时间复杂度，并在Oracle准确率上显著优于先前的方法。

ABSTRACT

To cope with the high level of ambiguity faced in domains such as Computer Vision or Natural Language processing, robust prediction methods often search for a diverse set of high-quality candidate solutions or proposals. In structured prediction problems, this becomes a daunting task, as the solution space (image labelings, sentence parses, etc.) is exponentially large. We study greedy algorithms for finding a diverse subset of solutions in structured-output spaces by drawing new connections between submodular functions over combinatorial item sets and High-Order Potentials (HOPs) studied for graphical models. Specifically, we show via examples that when marginal gains of submodular diversity functions allow structured representations, this enables efficient (sub-linear time) approximate maximization by reducing the greedy augmentation step to inference in a factor graph with appropriately constructed HOPs. We discuss benefits, tradeoffs, and show that our constructions lead to significantly better proposals.

研究动机与目标

• 解决在视觉与自然语言处理中常见的指数级庞大解空间中寻找多样且高分结构化输出的挑战。
• 实现对组合项集（大小为指数级）上单调子模多样性函数的高效贪心最大化。
• 建立子模优化与通过高阶势函数（HOPs）实现的结构化推理之间的联系。
• 开发一种可推广的方法，将贪心增强过程简化为具有HOP的因子图中的高效MAP推理。
• 通过实证结果证明，在生成多样图像分割方面，该方法的性能优于现有方法，且Oracle准确率更高。

提出的方法

• 该方法使用单调子模函数对多样性进行建模，其边际增益可通过因子图中的结构化HOP表示。
• 将贪心增强步骤简化为在引入编码多样性函数的HOP的因子图中进行MAP推理查询。
• 针对三种定义构建了具体的多样性函数：汉明球、DivMBest以及标签代价/转移，每种均映射到相应的HOP。
• 该方法利用现有高效的HOP推理算法，实现在基集大小上的亚线性时间复杂度。
• 提供了一种通用方法，可将任意可高效求解的HOP与新的子模多样性函数集成。
• 该框架支持近似推理，并在误差假设下提供了近似质量的理论边界。

实验结果

研究问题

• RQ1 是否可以设计出其边际增益具有结构化表示的子模多样性函数，从而实现高效推理？
• RQ2 是否可以将此类子模函数在指数级庞大结构化集合上的贪心最大化，简化为具有HOP的MAP推理？
• RQ3 与随机采样及其他多样性方法相比，所提方法在Oracle准确率上的表现如何？
• RQ4 在贪心算法中使用HOP的近似推理时，其理论近似保证是什么？
• RQ5 该框架是否可推广至除所提供示例外的其他多样性定义与HOP类别？

主要发现

• 所提方法在Oracle准确率上显著优于先前方法，其中汉明球多样性在大多数情况下优于DivMBest与标签代价/转移多样性。
• 组合多样性方法（如多目标方法）始终优于任何单一多样性策略，包括DivMBest。
• 标签转移多样性在平均表现上较差，但在处理罕见或易混淆的标签对（如狗-猫）等挑战性情况时表现优异，能发现更优的分割结果。
• 该算法在基集大小上表现出亚线性扩展性，使其适用于指数级庞大的结构化输出空间。
• 理论分析表明，近似推理导致的近似损失是受控的，特定条件下其相对误差边界为 $ (1 - rac{1}{e^eta}) $。
• 实证结果证实，即使在缺乏理论保证的情况下，该方法在实践中仍表现出强劲性能，尤其在汉明球多样性上表现突出。