[论文解读] Submodularity in Batch Active Learning and Survey Problems on Gaussian Random Fields

Yifei Ma, Roman Garnett+1 more|arXiv (Cornell University)|Sep 17, 2012

Machine Learning and Algorithms参考文献 8被引用 3

一句话总结

本文证明了在高斯随机场（GRFs）上的批量主动学习中，V-最优性准则具有子模性，从而使得贪心算法在预算约束下能够实现保证的 $(1 - 1/e)$ 近似比。此外，本文进一步证明了GRFs满足无抑制器（AofS）条件，并将子模性结果扩展至使用 $\bm{1}^T \tilde{\boldsymbol{\theta}} \bm{1}$ 风险准则的主动调查问题。

ABSTRACT

Many real-world datasets can be represented in the form of a graph whose edge weights designate similarities between instances. A discrete Gaussian random field (GRF) model is a finite-dimensional Gaussian process (GP) whose prior covariance is the inverse of a graph Laplacian. Minimizing the trace of the predictive covariance Sigma (V-optimality) on GRFs has proven successful in batch active learning classification problems with budget constraints. However, its worst-case bound has been missing. We show that the V-optimality on GRFs as a function of the batch query set is submodular and hence its greedy selection algorithm guarantees an (1-1/e) approximation ratio. Moreover, GRF models have the absence-of-suppressor (AofS) condition. For active survey problems, we propose a similar survey criterion which minimizes 1'(Sigma)1. In practice, V-optimality criterion performs better than GPs with mutual information gain criteria and allows nonuniform costs for different nodes.

研究动机与目标

• 建立基于高斯随机场（GRFs）上V-最优性准则的批量主动学习的理论最坏情况近似保证。
• 证明GRFs上的V-最优性准则具有子模性，从而通过贪心选择确保 $(1 - 1/e)$ 近似比。
• 表明所有GRF模型均满足无抑制器（AofS）条件，该条件有助于子模性并提升理论可处理性。
• 通过引入最小化 $\bm{1}^T \tilde{\boldsymbol{\theta}} \bm{1}$ 的新风险准则，将子模性框架扩展至主动调查问题。
• 通过实证验证，V-最优性在真实世界合作者图分类任务中优于互信息增益和随机选择。

提出的方法

• 形式化了一种基于图拉普拉斯矩阵 $L = L_0 + \text{diag}(\sigma_i^{-2})$ 构建先验协方差的正则化离散GRF模型。
• 将V-最优性准则定义为最小化预测协方差 $\Sigma$ 的迹，即 $\text{Tr}(\Sigma)$，以降低预测方差。
• 利用谱分解和逆拉普拉斯矩阵的性质，证明了V-最优性函数在批量查询集合上的子模性。
• 提出一种新颖的主动调查问题，其风险为 $R_s(\mathcal{L}) = \bm{1}^T \tilde{L}^{-1} \bm{1}$，并证明在相同条件下其具有子模性。
• 开发了一种高效算法（算法3），通过拉普拉斯矩阵的特征分解，实现 $R_s(\{v_i\})$ 的快速评估。
• 采用贪心选择算法（算法1）用于批量主动学习和调查问题，具有理论保证的 $(1 - 1/e)$ 近似比。

实验结果

研究问题

• RQ1 GRFs中的V-最优性准则是否具有子模性，从而为批量主动学习提供可证明的近似比？
• RQ2 GRF模型中是否能保证无抑制器（AofS）条件，且该条件是否确保子模性？
• RQ3 V-最优性准则在真实世界主动学习任务中是否优于互信息增益和随机选择？
• RQ4 子模性框架能否通过引入新风险准则 $\bm{1}^T \tilde{L}^{-1} \bm{1}$ 扩展至主动调查问题？
• RQ5 在大规模图上评估V-最优性和调查风险准则的计算效率如何？

主要发现

• GRFs上的V-最优性准则具有可证明的子模性，确保在预算约束下通过贪心批量选择实现 $(1 - 1/e)$ 近似比。
• 所有GRF模型均满足无抑制器（AofS）条件，该条件为高斯过程模型中的子模性提供了通用且可验证的条件。
• 在DBLP合作者图上的主动学习中，所提出的V-最优性准则优于互信息增益和随机选择，具有更低的预测方差和更高的分类准确率。
• 具有风险 $R_s(\mathcal{L}) = \bm{1}^T \tilde{L}^{-1} \bm{1}$ 的主动调查问题也具有子模性，从而可通过贪心选择实现相同的 $(1 - 1/e)$ 近似比。
• 算法3通过使用预计算的谱分解，实现了 $R_s(\{v_i\})$ 的高效计算，将每个节点的评估成本降低至 $O(N^2)$。
• 在DBLP合作者图（1711个节点，0.3%边密度）上的实证结果表明，V-最优性在120次重复实验中均表现出一致的性能提升，结果以均值和标准误差报告。