[论文解读] Multiple Outlier Detection in Samples with Exponential & Pareto Tails: Redeeming the Inward Approach & Detecting Dragon Kings

Spencer Wheatley, Didier Sornette|arXiv (Cornell University)|Jan 1, 2015

Complex Systems and Time Series Analysis参考文献 37被引用 2

一句话总结

本文提出一种稳健的向内顺序检验方法，用于检测指数分布和帕累托尾部样本中的多个异常值，证明其功效与向外检验相当，但更简单且不易出错。该方法识别出‘龙王’事件——具有独特意义的异常值——在真实世界数据中，表明正确的分布设定对于可靠推断至关重要。

ABSTRACT

We consider the detection of multiple outliers in Exponential and Pareto samples -- as well as general samples that have approximately Exponential or Pareto tails, thanks to Extreme Value Theory. It is shown that a simple "robust'' modification of common test statistics makes inward sequential testing -- formerly relegated within the literature since the introduction of outward testing -- as powerful as, and potentially less error prone than, outward tests. Moreover, inward testing does not require the complicated type 1 error control of outward tests. A variety of test statistics, employed in both block and sequential tests, are compared for their power and errors, in cases including no outliers, dispersed outliers (the classical slippage alternative), and clustered outliers (a case seldom considered). We advocate a density mixture approach for detecting clustered outliers. Tests are found to be highly sensitive to the correct specification of the main distribution (Exponential/Pareto), exposing high potential for errors in inference. Further, in five case studies -- financial crashes, nuclear power generation accidents, stock market returns, epidemic fatalities, and cities within countries -- significant outliers are detected and related to the concept of ‘Dragon King’ events, defined as meaningful outliers of unique origin.

研究动机与目标

• 为解决向外检验在多重异常值检测中的局限性，提出一种更稳健、更可靠的向内顺序检验方法。
• 评估在不同异常值配置（包括分散和聚集异常值）下，各种检验统计量在块状检验和顺序检验框架中的表现。
• 探讨异常值检测对底层指数或帕累托分布正确设定的敏感性。
• 识别并分析‘龙王’事件——具有独特、有意义来源的异常值——在真实世界数据集（如金融崩盘和流行病死亡率）中的表现。
• 证明向内检验可避免向外检验所需的复杂第一类错误控制，从而提高实际可用性。

提出的方法

• 通过稳健化修改常用检验统计量，以提升在多重异常值存在下的性能。
• 采用向内顺序检验，即按极端程度递增的顺序测试最极端的观测值，而非从最极端的开始。
• 通过一系列检验统计量比较块状检验与顺序检验框架的效能与错误率。
• 应用密度混合模型检测聚集异常值，将其视为与分散异常值不同的类别。
• 利用极值理论，为一般样本中尾部分布行为使用指数和帕累托分布提供理论依据。
• 在五个真实世界案例研究中验证该方法，通过统计显著性与分布拟合识别‘龙王’事件。

实验结果

研究问题

• RQ1 在检测指数分布和帕累托分布样本中的多重异常值时，向内顺序检验与向外检验在效能和错误率方面有何比较？
• RQ2 对分布假设（指数或帕累托）的错误设定对异常值检测准确性和推断可靠性有何影响？
• RQ3 对标准检验统计量进行稳健化修改是否能提升向内顺序检验的性能？
• RQ4 如何通过统计模型有效检测常被忽视的聚集异常值？
• RQ5 在真实世界数据集（如金融崩盘、流行病死亡率）中识别出的显著异常值是否符合具有独特起源的‘龙王’事件特征？

主要发现

• 稳健的向内顺序检验方法在功效上可与向外检验相媲美，同时避免了复杂的第一类错误控制需求。
• 由于其简洁性和稳定性，向内检验更不易出错，且在实际应用中更具实用性。
• 异常值检测性能对主分布的正确设定极为敏感；设定错误会导致严重的推断错误。
• 密度混合模型能有效检测聚集异常值，而这类异常值常被经典滑移模型所遗漏。
• 五个真实世界案例研究——金融崩盘、核事故、股票收益、流行病死亡率和城市规模分布——揭示了与‘龙王’概念一致的显著异常值。
• 这些案例研究中检测到的异常值并非随机极端值，而是具有独特、可识别成因，支持了‘龙王’假说中关于有意义、高影响力事件的存在。