[论文解读] Two Procedures for Robust Monitoring of Probability Distributions of Economic Data Streams induced by Depth Functions

Daniel Kosiorowski|arXiv (Cornell University)|May 1, 2014

Advanced Statistical Methods and Models参考文献 21被引用 4

一句话总结

本文提出两种稳健、用户友好的方法，利用深度函数监控经济数据流中的无条件与条件概率分布。这些方法对异常值和内点均具有鲁棒性，同时对制度变化保持敏感，相关实现已集成于 R 包 DepthProc 中。

ABSTRACT

Data streams (streaming data) consist of transiently observed, evolving in time, multidimensional data sequences that challenge our computational and/or inferential capabilities. In this paper we propose user friendly approaches for robust monitoring of selected properties of unconditional and conditional distribution of the stream basing on depth functions. Our proposals are robust to a small fraction of outliers and/or inliers but sensitive to a regime change of the stream at the same time. Their implementations are available in our free R package DepthProc.

研究动机与目标

• 解决对具有瞬时、时变分布的演化型多维经济数据流进行监控的挑战。
• 开发在少量异常值或内点存在时仍保持有效的稳健统计方法。
• 确保对数据流分布特性中制度变化的敏感性。
• 提供实用、用户友好的工具，用于实时监控无条件与条件分布。
• 通过免费提供的 R 包 DepthProc 实现，确保广泛可及性与可复现性。

提出的方法

• 利用数据深度函数评估观测值在分布中的中心性，实现稳健的多变量分析。
• 应用基于深度的秩统计量，监控数据流随时间在位置与散度上的变化。
• 基于深度加权估计量构建控制图，以检测潜在分布的偏移。
• 通过将深度函数与协变量或时间索引关联，将深度函数整合至条件监控中。
• 利用基于深度函数的稳健位置与散度估计量，最小化极端值的影响。
• 在 R 包 DepthProc 中实现上述方法，确保可复现性，并为实践者提供易用性支持。

实验结果

研究问题

• RQ1 如何有效利用深度函数实现实时监控无条件经济数据流的分布？
• RQ2 基于深度的方法在保持对异常值和内点的鲁棒性的同时，能在多大程度上检测制度变化？
• RQ3 当存在协变量或时间依赖因素时，如何利用深度函数实现条件分布的监控？
• RQ4 与经典方法相比，基于深度的控制图在检测分布偏移方面的表现如何？
• RQ5 如何在经济数据分析工作流中实际实现稳健的基于深度的监控？

主要发现

• 所提出的基于深度的方法在存在异常值和内点污染时表现出强鲁棒性，同时不降低对真实制度变化的敏感性。
• 这些方法即使在非正态和偏态分布下，也能成功检测多变量数据流在位置与散度上的变化。
• 与经典多变量控制图相比，基于深度函数的控制图在污染条件下检测分布变化的性能更优。
• 通过 R 包 DepthProc 的实现，实现了计算开销小的实时、用户友好的经济数据流监控。
• 实证结果证实，基于深度的监控在检测结构断裂时保持了高统计功效，同时有效控制了假阳性率。
• 条件监控的扩展版本可实现基于协变量的动态分布变化评估，显著增强了在计量经济建模中的适用性。