[论文解读] Quick Search for Rare Events

Ali Tajer, H. Vincent Poor|arXiv (Cornell University)|Oct 8, 2012

Anomaly Detection Techniques and Applications参考文献 28被引用 5

一句话总结

该论文提出了一种自适应采样框架，用于在大规模数据集中快速检测罕见事件，其中与罕见事件相关的信号被淹没在噪声中。通过基于似然比动态分配采样资源并优化切换序列，该方法在总样本数的硬性约束下实现了近乎最优的检测可靠性，且在渐近误差性能和最优停止时间方面具有理论保证。

ABSTRACT

Rare events can potentially occur in many applications. When manifested as opportunities to be exploited, risks to be ameliorated, or certain features to be extracted, such events become of paramount significance. Due to their sporadic nature, the information-bearing signals associated with rare events often lie in a large set of irrelevant signals and are not easily accessible. This paper provides a statistical framework for detecting such events so that an optimal balance between detection reliability and agility, as two opposing performance measures, is established. The core component of this framework is a sampling procedure that adaptively and quickly focuses the information-gathering resources on the segments of the dataset that bear the information pertinent to the rare events. Particular focus is placed on Gaussian signals with the aim of detecting signals with rare mean and variance values.

研究动机与目标

• 解决在大规模数据集中检测稀疏且被噪声掩盖的罕见但重要事件的挑战。
• 在总观测数的硬性约束下，平衡检测可靠性和采样敏捷性。
• 开发一种统计上最优的信息收集策略，自适应地聚焦于数据中高似然性的片段。
• 通过引入硬性资源约束和对一个或多个罕见事件的灵活检测，推广现有的序列检测方法。
• 推导出在资源限制下最小化渐近误差概率的最优停止规则和采样分配策略。

提出的方法

• 提出一种基于切换序列的采样过程，根据似然比自适应地将观测值分配给不同序列。
• 采用一种改进机制，其中在显示更高罕见事件证据的片段中增加采样力度，受衰减参数 $\alpha \in (0,1)$ 的控制。
• 对总样本数施加硬性约束 $\sum_{t=1}^{\tau} |\mathcal{L}_t| \leq S \cdot n$，确保严格遵守资源限制。
• 通过最小化所用样本数来推导最优的改进动作数 $K^*$，从而最大化未使用的资源以供进一步采样。
• 引入一个依赖于 $K^*$、$S$ 和 $\alpha$ 的停止时间 $\tau$，并为渐近性能推导出闭式表达式。
• 应用递归采样规则：$|\mathcal{L}_t| = \lfloor \alpha^{\sum_{u=1}^{t-1} \psi(u)} (n - T_n) \rfloor + T_n$，其中 $\psi(u)$ 表示活跃采样。

实验结果

研究问题

• RQ1 如何在尊重总观测数硬性约束的前提下，最优地分配采样资源以检测大规模数据集中的罕见事件？
• RQ2 最小化样本使用量并最大化检测可靠性时，最优的改进动作数 $K^*$ 是什么？
• RQ3 自适应采样策略在渐近误差概率方面与非自适应策略相比如何？
• RQ4 平衡检测准确性和采样效率的最优停止时间 $\tau$ 是什么？
• RQ5 在 $\alpha$ 和 $S$ 的何种条件下，使用 $K^* = K$ 或 $K^* = 0$ 是最优的？

主要发现

• 当 $\alpha \leq 1 - \frac{1}{S}$ 时，最优改进动作数为 $K^* = K$；否则 $K^* = 0$，从而确保样本使用量最小化。
• 当 $\alpha \leq 1 - \frac{1}{S}$ 时，最优停止时间为 $\tau = K + \left\lfloor S \cdot \alpha^{-K} + \frac{1 - \alpha^{-K}}{1 - \alpha} \right\rfloor$；否则 $\tau = S$。
• 渐近误差概率 $\mathcal{P}_n(S,K)$ 在停止时间与预算为 $S_0$ 的非自适应程序相匹配时达到最小，此时满足 $S \cdot \alpha^{-K} + \frac{\alpha - \alpha^{-K}}{1 - \alpha} < S_0 < S \cdot \alpha^{-K} + \frac{\alpha - \alpha^{-K}}{1 - \alpha}$。
• 自适应采样策略实现了与有效预算更小的非自适应策略相同的渐近误差性能，展示了效率优势。
• 该框架确保在所有具有 $K^*$ 次切换的切换序列中，所用样本数最小，从而为后续采样保留最大未使用资源。
• 该方法保证在渐近状态下总样本数不会超过硬性约束 $S \cdot n$，并对资源分配实现精确控制。