[论文解读] The Limits of Post-Selection Generalization

Kobbi Nissim, Adam Smith+3 more|arXiv (Cornell University)|Jun 15, 2018

Privacy-Preserving Technologies in Data参考文献 23被引用 10

一句话总结

本文確立了後見式泛化（post hoc generalization）的根本限制，這是確保自適應數據分析中統計有效性的一個關鍵機制。本文證明了滿足後見式泛化之演算法的錯誤之緊緻下界，並顯示此性質雖在實際演算法中表現出強勁的組合行為，卻不具備組合封閉性。

ABSTRACT

While statistics and machine learning offers numerous methods for ensuring generalization, these methods often fail in the presence of adaptivity---the common practice in which the choice of analysis depends on previous interactions with the same dataset. A recent line of work has introduced powerful, general purpose algorithms that ensure post hoc generalization (also called robust or post-selection generalization), which says that, given the output of the algorithm, it is hard to find any statistic for which the data differs significantly from the population it came from. In this work we show several limitations on the power of algorithms satisfying post hoc generalization. First, we show a tight lower bound on the error of any algorithm that satisfies post hoc generalization and answers adaptively chosen statistical queries, showing a strong barrier to progress in post selection data analysis. Second, we show that post hoc generalization is not closed under composition, despite many examples of such algorithms exhibiting strong composition properties.

研究动机与目标

• 識別確保後見式泛化之演算法的固有限制，此為自適應數據分析後進行穩健統計推斷的框架。
• 建立任何滿足後見式泛化之演算法在回答自適應選擇的統計查詢時，其錯誤的緊緻下界。
• 探討後見式泛化是否在組合下封閉，儘管現有演算法在實務中表現出強勁的組合性質。
• 展示現有的通用後選擇推斷演算法因這些限制而面臨固有的理論障礙。

提出的方法

• 將後見式泛化形式化為一種保證：給定演算法的輸出，無法找到任何統計量，使其在資料上的經驗平均與其母體平均顯著不同。
• 透過偽隨機產生器（PRG）安全性問題的歸約，證明任何後見式泛化演算法之錯誤的下界。
• 構造一個區分器，若後見式泛化演算法未能滿足錯誤界限，則可破壞PRG；此過程利用霍夫丁不等式與統計距離邊界。
• 應用基於排列的PRG構造（PRG-Encrypermute），建立具有可證明錯誤保證的計算穩健泛化演算法。
• 分析PRG構造中真實分佈與均勻分佈之間的統計距離，以界定查詢估計的偏離程度。
• 使用混合論證與耦合技術，比較演算法在真實與均勻輸入下的行為，顯示其偏離機率幾乎相同。

实验结果

研究问题

• RQ1 當回答自適應選擇的統計查詢時，任何滿足後見式泛化的演算法，其錯誤的最緊緻下界為何？
• RQ2 後見式泛化是否在組合下封閉？即兩個後見式泛化演算法的組合是否仍能保持泛化保證？
• RQ3 後見式泛化演算法的錯誤能否以樣本大小與信賴參數的非平凡函數作為下界？
• RQ4 實務中表現出強勁組合行為的已知演算法，在理論上實際上是否滿足正式的組合性？
• RQ5 偽隨機產生器的安全性能否用來建立自適應數據分析中泛化之根本限制？

主要发现

• 本文確立了任何滿足後見式泛化的演算法之錯誤的緊緻下界：對於任意 δ ≥ n⁻¹⁰⁰ 與 ε = √(8 ln(16/δ)/n)，任何此類演算法均無法以大於 δ 的機率保證錯誤低於 ε。
• 本文證明後見式泛化不具組合封閉性，即即使兩個演算法各自滿足後見式泛化，其組合後也可能不滿足。
• 此下界為緊緻，且與已知演算法（如 PRG-Encrypermute）的錯誤率相符，顯示在最壞情況下無法進一步改善。
• 基於演算法輸出與資料樣本構建的區分器，若演算法未能滿足錯誤界限，將導致矛盾，進而透過PRG安全性證明下界。
• PRG構造中真實分佈與均勻分佈之間的統計距離受 k⁻ᵏ/⁸ 所限制，確保演算法輸出在計算上無法與均勻分佈區分，進而支援泛化保證。
• 分析顯示，當PRG被均勻字串取代時，查詢估計的大幅偏離機率仍受限制，證明該演算法在指定錯誤參數下滿足後見式泛化。