[论文解读] Truthful Linear Regression

Rachel Cummings, Stratis Ioannidis+1 more|arXiv (Cornell University)|Jun 10, 2015

Privacy-Preserving Technologies in Data参考文献 11被引用 25

一句话总结

本文提出了一种在个体对隐私敏感、可能谎报数据的线性回归场景下的可信机制。通过结合差分隐私计算与基于同伴预测的支付机制，该机制确保了渐近可信报告、准确估计，并在参与者数量增加时实现总支付预算的趋近于零。

ABSTRACT

We consider the problem of fitting a linear model to data held by individuals who are concerned about their privacy. Incentivizing most players to truthfully report their data to the analyst constrains our design to mechanisms that provide a privacy guarantee to the participants; we use differential privacy to model individuals' privacy losses. This immediately poses a problem, as differentially private computation of a linear model necessarily produces a biased estimation, and existing approaches to design mechanisms to elicit data from privacy-sensitive individuals do not generalize well to biased estimators. We overcome this challenge through an appropriate design of the computation and payment scheme.

研究动机与目标

• 解决在隐私敏感场景下，从个体处获取可信数据报告的挑战，适用于线性回归设置。
• 克服差分隐私线性估计器固有的偏差，该偏差会破坏现有激励相容机制的有效性。
• 设计一种机制，在保持估计准确性的同时，确保参与者有动机如实报告。
• 最小化激励参与所需的总支付预算，实现渐近预算效率。
• 将同伴预测机制推广至适用于由差分隐私引发的有偏估计器的场景。

提出的方法

• 使用差分隐私建模并限制个体的隐私损失，确保数据报告受到保护。
• 引入具有强凸性的正则化损失函数，以稳定估计并确保收敛性。
• 应用同伴预测机制，基于个体间报告的一致性来计算支付。
• 设计一种支付机制，通过将个体激励与准确模型估计的目标对齐，奖励真实报告。
• 利用差分隐私的组合性质，限制谎报带来的期望效用损失。
• 确保真实报告的期望效用高于谎报，且该差距随参与者数量的增加而增长。

实验结果

研究问题

• RQ1 能否设计一种机制，在参与者对隐私敏感的情况下，激励其在进行线性回归时如实报告？
• RQ2 如何将差分隐私（必然引入偏差）与真实报告的激励机制相协调？
• RQ3 何种支付机制可确保即使在估计器存在偏差的情况下，真实报告仍是主导策略？
• RQ4 随着参与者数量的增加，总支付预算能否实现渐近变小？
• RQ5 随着参与者数量的增加，该机制是否仍能保持估计的准确性？

主要发现

• 所提出的机制实现了渐近可信性，即参与者没有动机谎报其数据。
• 估计器与真实模型之间的平方L2距离随着个体数量的增加而收敛至零，确保了估计的准确性。
• 随着参与者数量的增加，该机制所需的总支付预算趋于零，实现了渐近预算效率。
• 该机制确保了绝大多数参与者获得正向效用，从而激励其参与。
• 理论分析证实，差分隐私与同伴预测可结合使用，以生成一种可信且准确的回归机制。
• 在对隐私成本分布的弱假设以及正则化损失函数强凸性的前提下，该机制具有鲁棒性。