[论文解读] Privately detecting changes in unknown distributions

Rachel Cummings, Sara Krehbiel+2 more|arXiv (Cornell University)|Oct 3, 2019

Advanced Statistical Process Monitoring参考文献 33被引用 5

一句话总结

本文提出了针对未知前后分布的数据流中非参数变化点检测的差分隐私算法。通过利用敏感性受控的曼-惠特尼秩次检验统计量，作者设计了私有的离线与在线算法（PNCPD 和 OnlinePNCPD），在平滑分布偏移下检测线性趋势变化，即使在分布知识有限的情况下，也能实现强隐私保护与经验准确性。

ABSTRACT

The change-point detection problem seeks to identify distributional changes in streams of data. Increasingly, tools for change-point detection are applied in settings where data may be highly sensitive and formal privacy guarantees are required, such as identifying disease outbreaks based on hospital records, or IoT devices detecting activity within a home. Differential privacy has emerged as a powerful technique for enabling data analysis while preventing information leakage about individuals. Much of the prior work on change-point detection---including the only private algorithms for this problem---requires complete knowledge of the pre-change and post-change distributions. However, this assumption is not realistic for many practical applications of interest. This work develops differentially private algorithms for solving the change-point problem when the data distributions are unknown. Additionally, the data may be sampled from distributions that change smoothly over time, rather than fixed pre-change and post-change distributions. We apply our algorithms to detect changes in the linear trends of such data streams. Finally, we also provide experimental results to empirically validate the performance of our algorithms.

研究动机与目标

• 为解决在真实世界敏感数据应用中，前后变化分布完全未知时，私有变化点检测的空白问题。
• 开发无需对后变化分布做参数假设的差分隐私算法，以提升实际应用的广泛性。
• 将私有变化点检测扩展至平滑、时变分布变化的场景，而非仅限于突变。
• 通过真实数据生成模型（包括带独立同分布噪声的线性漂移）实证验证私有检测算法的性能。

提出的方法

• 使用曼-惠特尼 U 检验统计量作为非参数、基于秩次的检验方法，比较候选变化点前后数据的值，其对差分隐私具有低敏感性。
• 通过添加与曼-惠特尼统计量敏感性相匹配的噪声来实现差分隐私，该敏感性对大小为 n 的数据集为 O(1/n)。
• 设计一种离线算法（PNCPD），在所有候选变化点上评估检验统计量，并选择私有得分最高的点作为检测结果。
• 开发一种在线算法（OnlinePNCPD），采用滑动窗口与阈值机制实现实时检测，同时保持隐私性。
• 通过变换数据流中的观测值来检测线性漂移，使基于秩次的检验可应用于具有平滑变化的非独立同分布数据。
• 采用蒙特卡洛模拟与合成数据评估在不同隐私参数（ε）下的误报率与估计准确性。

实验结果

研究问题

• RQ1 当前后变化分布完全未知时，能否实现差分隐私变化点检测？
• RQ2 如何利用低敏感性、非参数统计量设计无需参数假设的私有变化点检测器？
• RQ3 能否将私有变化点检测扩展至平滑、时变分布变化的数据流，而非仅限于突变？
• RQ4 在未知分布下，私有变化点检测中隐私（ε）与检测准确率之间的经验权衡如何？

主要发现

• 对于 ε = 5 和 ε = 10，PNCPD 算法的实证误差在真实变化点附近 0.4 以内，且当算法正确识别出包含变化点的窗口时，误差显著降低。
• 对于 ε = 1，总体误差率保持在 0.4 以下，但主要误差来源是错误的窗口检测，而非在正确窗口内的估计不准。
• OnlinePNCPD 算法在 ε = 5 和 ε = 10 时成功将误报率控制在 0.1 以下，尽管理论边界表明阈值 T = 0.8 可能导致空范围，但其在实践中表现有效。
• 曼-惠特尼检验统计量表现出低敏感性（O(1/n)），使其在非参数设置下非常适用于差分隐私。
• 模拟结果表明，所提算法在分布未知的情况下，仍能保持强隐私保障，并有效检测带噪声的线性漂移模型中的变化。
• 阈值的理论边界过于保守；实证结果表明，可通过估计参数有效设定实际可用的阈值。