[论文解读] Submodularity on Hypergraphs: From Sets to Sequences

Marko Mitrovic, Moran Feldman+2 more|arXiv (Cornell University)|Feb 26, 2018

Complexity and Algorithms in Graphs参考文献 18被引用 6

一句话总结

本文提出了两种新颖的算法——Sequence-Greedy 和 Hyper Sequence-Greedy，将子模优化扩展至一般有向图和超图上的序列，即使在图中存在环路的情况下也能实现常数因子的近似保证。核心贡献是首次为非有向无环图（DAG）之外的子模序列优化建立了理论框架，并在电影推荐和MOOC课程排序等实际任务中得到验证。

ABSTRACT

In a nutshell, submodular functions encode an intuitive notion of diminishing returns. As a result, submodularity appears in many important machine learning tasks such as feature selection and data summarization. Although there has been a large volume of work devoted to the study of submodular functions in recent years, the vast majority of this work has been focused on algorithms that output sets, not sequences. However, in many settings, the order in which we output items can be just as important as the items themselves. To extend the notion of submodularity to sequences, we use a directed graph on the items where the edges encode the additional value of selecting items in a particular order. Existing theory is limited to the case where this underlying graph is a directed acyclic graph. In this paper, we introduce two new algorithms that provably give constant factor approximations for general graphs and hypergraphs having bounded in or out degrees. Furthermore, we show the utility of our new algorithms for real-world applications in movie recommendation, online link prediction, and the design of course sequences for MOOCs.

研究动机与目标

• 填补子模优化中从集合扩展到序列的空白，其中顺序对效用有显著影响。
• 克服先前工作仅适用于有向无环图（DAG）的局限性，使方法可应用于含环的一般图。
• 为基于有向图和超图的边诱导效用，建立子模函数在序列上的理论框架。
• 设计实用算法，在有界入度或出度的一般图和超图上实现常数因子近似。
• 在电影推荐、在线链接预测和MOOC课程序列设计等实际应用中，展示所提方法的实用性。

提出的方法

• 使用有向图 $G = (V, E)$ 建模序列选择问题，其中边表示按特定顺序选择项目所带来的附加价值。
• 定义目标函数 $f(\sigma) = h(E(\sigma))$，其中 $h$ 是边集上的非负单调子模集合函数，$E(\sigma)$ 是序列 $\sigma$ 所诱导的边集。
• 提出 Sequence-Greedy：一种贪心算法，通过同时考虑个体贡献和边贡献，迭代选择能最大化 $h$ 边际增益的下一个顶点。
• 引入 Hyper Sequence-Greedy：一种推广方法，利用超边建模更高阶依赖关系，捕捉最多 $k$ 个项目的序列效用。
• 采用一种超图构造方式，其中每个超边 $e_s$ 对应该长度不超过 $k$ 的序列 $s$，其权重 $p_s$ 表示用户兴趣的概率。
• 引入平滑参数 $d$ 以避免在低频场景下对罕见序列的过拟合。

实验结果

研究问题

• RQ1 子模优化能否被扩展到一般有向图（包括含环图）上的序列，而不仅限于集合？
• RQ2 当底层图非DAG时，子模序列优化的理论近似保证能达到何种程度？
• RQ3 如何利用超图建模序列选择中超越成对排序的高阶依赖关系？
• RQ4 所提算法在电影推荐和课程排序等实际应用中是否优于现有基线方法？
• RQ5 在实际推荐和教育序列任务中，建模序列顺序在多大程度上能提升效用？

主要发现

• Sequence-Greedy 和 Hyper Sequence-Greedy 在入度或出度有界的图和超图上，对最优解实现了常数因子近似。
• 在课程序列推荐任务中，Hyper Sequence-Greedy 的表现优于 OMegA 和 Sequence-Greedy，所选序列处于性能前百分位数。
• 在 MOOC 数据集中，Hyper Sequence-Greedy 所选序列显著提升了用户参与度，遵循推荐序列的用户课程完成率明显更高。
• 即使在 $k=4$ 的小值下，算法也表现出鲁棒性，此时 OMegA 优于 Sequence-Greedy，可能归因于序列长度较短以及 OMegA 中的随机拓扑排序。
• 使用超边显著提升了对复杂依赖关系的建模能力，实证结果表明其在真实数据集上的表现优于成对边模型。
• 实验结果表明，所选序列在激发用户兴趣方面极为有效，尤其当序列体现连贯的主题脉络（如电影系列或课程系列）时效果更佳。