[论文解读] Unsupervised Learning of the Set of Local Maxima

Lior Wolf, Sagie Benaim+1 more|arXiv (Cornell University)|Jan 14, 2020

Face and Expression Recognition被引用 5

一句话总结

该论文提出了一种新颖的无监督学习框架，联合学习一个集合指示分类器 $c$ 和一个比较函数 $h$，从未标记数据中识别未知价值函数 $v$ 的局部极大值。通过利用相互监督——其中邻近点若被 $h$ 预测为值更低，则作为 $c$ 的负样本——该方法在异常检测性能上优于单类分类，且理论支持了泛化边界。

ABSTRACT

This paper describes a new form of unsupervised learning, whose input is a set of unlabeled points that are assumed to be local maxima of an unknown value function v in an unknown subset of the vector space. Two functions are learned: (i) a set indicator c, which is a binary classifier, and (ii) a comparator function h that given two nearby samples, predicts which sample has the higher value of the unknown function v. Loss terms are used to ensure that all training samples x are a local maxima of v, according to h and satisfy c(x)=1. Therefore, c and h provide training signals to each other: a point x' in the vicinity of x satisfies c(x)=-1 or is deemed by h to be lower in value than x. We present an algorithm, show an example where it is more efficient to use local maxima as an indicator function than to employ conventional classification, and derive a suitable generalization bound. Our experiments show that the method is able to outperform one-class classification algorithms in the task of anomaly detection and also provide an additional signal that is extracted in a completely unsupervised way.

研究动机与目标

• 从未标记数据中学习未知价值函数 $v$ 的局部极大值集合，且不依赖任何监督信号。
• 通过引入一个独立的价值函数以突破单类分类的局限，该价值函数可捕捉超出类别归属的质量或最优性信息。
• 开发一种协同训练机制，使分类器 $c$ 与比较函数 $h$ 利用局部邻域信息相互监督。
• 为所提方法提供泛化边界，确保在学习局部极大值时具备理论可靠性。

提出的方法

• 该方法学习两个函数：一个二分类器 $c$，用于识别满足约束的点（即 $c(\mathbf{x})=1$），以及一个比较函数 $h$，用于预测在未知函数 $v$ 下，两个邻近点中哪一个具有更高的值。
• 训练过程强制要求每个训练点 $\mathbf{x}$ 为局部极大值：对于所有 $\mathbf{u} \in N_\epsilon(\mathbf{x})$，必须满足 $v(\mathbf{u}) < v(\mathbf{x})$，并通过 $h$ 验证。
• 分类器 $c$ 被训练以拒绝那些被 $h$ 预测为 $v(\mathbf{x}') \geq v(\mathbf{x})$ 的邻近点 $\mathbf{x}'$，或满足 $c(\mathbf{x}') = -1$ 的点，从而形成负样本信号。
• 由于单调性模糊性，价值函数 $v$ 并未被直接学习；相反，训练了一个可微分的比较函数 $h$，以预测点对之间的相对值顺序。
• 联合优化框架使用对比损失和基于边距的损失，确保 $h$ 正确排序邻近点，且 $c$ 正确定位局部极大值。
• 使用 PAC-Bayesian 方法对泛化能力进行边界约束，该边界依赖于模型参数先验与后验分布之间的 KL 散度。

实验结果

研究问题

• RQ1 在无监督设置下，联合训练的分类器与比较函数能否有效识别未知价值函数的局部极大值？
• RQ2 分类器 $c$ 与比较函数 $h$ 之间的协同训练机制相比标准单类分类，性能提升机制为何？
• RQ3 所提方法的泛化行为如何？能否实现理论上的边界约束？
• RQ4 比较函数 $h$ 能否提供超越类别归属的有意义无监督信号，如图像质量或适应度？

主要发现

• 所提方法在异常检测任务中优于标准单类分类算法，在基准数据集上展现出更高的检测准确率。
• 比较函数 $h$ 有效捕捉了与分类器 $c$ 不同的信号（如图像质量），而 $c$ 则捕捉类别归属信息。
• 协同训练机制实现了相互监督：当邻近点被 $h$ 排名更高时，$h$ 为 $c$ 提供负样本信号；而 $c$ 帮助 $h$ 识别有效的局部邻域。
• 基于 PAC-Bayesian 理论推导出泛化边界，表明该方法在模型复杂度和数据规模下均具有良好的泛化能力。
• 该方法对 $v$ 的未知单调变换具有鲁棒性，因其直接学习 $h$ 而非 $v$，从而确保训练稳定。
• 实验结果表明，$c$ 与 $h$ 的结合在泛化性能上优于单独使用 $c$，尤其在检测分布外样本方面表现更优。