[论文解读] Robust Hypothesis Testing with Wasserstein Uncertainty Sets

Liyan Xie, Rui Gao+1 more|arXiv (Cornell University)|May 29, 2021

Advanced Statistical Process Monitoring被引用 6

一句话总结

该论文提出了一种基于Wasserstein不确定性集的鲁棒非参数假设检验方法，用于处理统计检验中的小样本场景。通过利用分布鲁棒优化和强对偶性，该方法将原始问题转化为一个可计算的凸优化问题，从而识别出最不利分布，即使在经验分布稀疏或支撑集不匹配的情况下，也能实现计算高效且统计可靠的检验。

ABSTRACT

We consider a data-driven robust hypothesis test where the optimal test will minimize the worst-case performance regarding distributions that are close to the empirical distributions with respect to the Wasserstein distance. This leads to a new non-parametric hypothesis testing framework based on distributionally robust optimization, which is more robust when there are limited samples for one or both hypotheses. Such a scenario often arises from applications such as health care, online change-point detection, and anomaly detection. We study the computational and statistical properties of the proposed test by presenting a tractable convex reformulation of the original infinite-dimensional variational problem exploiting Wasserstein's properties and characterizing the radii selection for the uncertainty sets. We also demonstrate the good performance of our method on synthetic and real data.

研究动机与目标

• 解决当一个或两个假设的训练样本有限时，假设检验不可靠的问题。
• 克服传统方法（如GLRT和密度比估计）在高维或稀疏数据场景下的局限性。
• 开发一种非参数、分布鲁棒的检验框架，即使经验分布在非零概率区域缺乏支撑，也能保持有效性。
• 通过将无限维极小化极大问题重新表述为可计算的凸优化问题，确保鲁棒检验的计算可行性。
• 表征最优不确定性集半径，以在鲁棒性与统计功效之间取得平衡。

提出的方法

• 构建一个分布鲁棒优化问题，其中不确定性集由经验分布周围的Wasserstein距离球定义。
• 利用强对偶性将极小化极大问题分解为两个子问题：固定分布下的最优检验，以及最不利分布（LFDs）的识别。
• 应用Kantorovich对偶性，将Wasserstein模糊集转化为有限维凸优化问题。
• 基于对偶公式推导出的最不利分布构造最优检验，确保对分布偏移的鲁棒性。
• 通过聚合多个样本的检验统计量，将方法扩展至批量检验。
• 利用基于最优传输渐近分析的理论界，表征Wasserstein不确定性集的最优半径。

实验结果

研究问题

• RQ1 如何设计一种鲁棒假设检验方法，使其在某一或两个假设的训练样本较小时仍保持有效性？
• RQ2 能否使用Wasserstein距离构建允许不同支撑集的不确定性集，从而避免KL散度和总变差距离的局限性？
• RQ3 求解鲁棒极小化极大假设检验的计算复杂度是多少？是否可简化为可计算的凸规划？
• RQ4 如何选择Wasserstein不确定性集的半径，以在鲁棒性与统计功效之间实现平衡？
• RQ5 在样本量增加时，该检验的渐近行为如何？与经典检验相比有何差异？

主要发现

• 通过强对偶性和Kantorovich对偶性，该方法成功将原始无限维极小化极大问题转化为可计算的凸优化形式。
• 最不利分布（LFDs）可通过有限维凸优化问题计算得出，支持实际实现。
• 在小样本场景下，该方法优于经典检验，尤其在经验分布稀疏或支撑集不匹配时表现更优。
• Wasserstein不确定性集的半径可理论表征，以确保鲁棒性同时维持统计功效。
• 在合成数据和真实数据上的实验结果表明，该方法在异常检测和变化点检测任务中表现更优。
• 渐近分析结果证实，基于泊松过程耦合论证推导出的弱大数定律下，检验统计量收敛。