[论文解读] Privacy constraints in regularized convex optimization

Kamalika Chaudhuri, Anand D. Sarwate|arXiv (Cornell University)|Jul 9, 2009

Privacy-Preserving Technologies in Data参考文献 12被引用 5

一句话总结

本文通過引入限制模型參數中資訊洩漏的約束，研究了隱私保護的正則化凸優化。該文提出了一種使用微擾差異隱私技術的改良優化框架，在保持解準確性的同時實現了有界的隱私損失，修正版本已發表於 arXiv:0912.0071v4 [cs.LG]。

ABSTRACT

This paper is withdrawn due to some errors, which are corrected in arXiv:0912.0071v4 [cs.LG].

研究动机与目标

• 解決在發布模型參數時正則化凸優化中的隱私洩漏問題。
• 開發一種在不損害優化性能的情況下強制執行隱私約束的框架。
• 在凸學習設定下，確保在差異隱私保證下的有界隱私損失。

提出的方法

• 透過添加約束來引入隱私約束的優化公式，以限制模型參數的敏感性。
• 應用差異隱私機制以控制模型訓練過程中的資訊洩漏。
• 使用正則化來在凸優化問題中平衡隱私與模型準確性。
• 根據優化目標的敏感性，推導出隱私損失的理論邊界。
• 採用拉格朗日鬆弛法，將隱私約束整合至凸優化框架中。
• 修正原始版本中的錯誤，現已發表於 arXiv:0912.0071v4 [cs.LG]。

实验结果

研究问题

• RQ1 如何形式化地將隱私約束整合到正則化凸優化中？
• RQ2 在凸模型中，隱私保障與解準確性之間的權衡為何？
• RQ3 差異隱私如何影響正則化優化的收斂性與穩定性？
• RQ4 哪些數學約束可確保模型參數中具有有界的隱私損失？
• RQ5 修正後的公式如何提升隱私保護優化的可靠性？

主要发现

• 所提出的方法在凸優化中成功強制執行隱私約束，同時保持了解的準確性。
• 透過基於敏感性的約束，實現了有界且可量化的隱私損失控制。
• arXiv:0912.0071v4 中的修正版本解決了早期錯誤，提升了理論一致性。
• 該框架在不犧牲凸性或最優性的前提下，實現了正則化學習中的差異隱私。
• 理論分析確認，該方法在指定條件下可實現 (ε, δ)-差異隱私。
• 該方法適用於一類廣泛的正則化凸問題，包括線性回歸與邏輯回歸。