[论文解读] Rewarding High-Quality Data via Influence Functions

Adam Richardson, Aris Filos-Ratsikas+1 more|arXiv (Cornell University)|Aug 30, 2019

Auction Theory and Applications参考文献 22被引用 14

一句话总结

本文提出了一种联邦学习的激励机制，根据数据点对模型损失的影响来奖励参与者，确保在博弈论均衡下实现诚实、高质量的数据报告。该机制采用高效的影响力近似方法和顺序批量处理，实现可扩展的早期奖励，并在真实数据集上进行了理论和实证验证。

ABSTRACT

We consider a crowdsourcing data acquisition scenario, such as federated learning, where a Center collects data points from a set of rational Agents, with the aim of training a model. For linear regression models, we show how a payment structure can be designed to incentivize the agents to provide high-quality data as early as possible, based on a characterization of the influence that data points have on the loss function of the model. Our contributions can be summarized as follows: (a) we prove theoretically that this scheme ensures truthful data reporting as a game-theoretic equilibrium and further demonstrate its robustness against mixtures of truthful and heuristic data reports, (b) we design a procedure according to which the influence computation can be efficiently approximated and processed sequentially in batches over time, (c) we develop a theory that allows correcting the difference between the influence and the overall change in loss and (d) we evaluate our approach on real datasets, confirming our theoretical findings.

研究动机与目标

• 设计一种基于线性回归模型中数据点影响力的激励方案。
• 确保诚实数据报告是博弈论均衡，即使参与者使用启发式或不诚实的报告策略。
• 实现实时部署所需的高效、顺序计算数据批次的影响力。
• 校正影响力近似与模型性能实际损失变化之间的差异。
• 在不同条件下于真实世界UCI数据集上对机制进行实证验证。

提出的方法

• 使用影响力函数量化当数据点被包含在训练中时，其对模型损失的减少程度。
• 基于对训练点的加权方法，采用二阶影响力近似，相比一阶方法显著提高准确性。
• 按顺序处理数据批次，使用M-包含（含当前批次）和M-排除（不含当前批次）的训练范式分别计算每一批次的奖励。
• 通过均匀随机采样初始化模型，以处理无先验数据的情况，确保从一开始就保持一致的影响力计算。
• 通过解析建模初始数据点对损失变化的影响，校正影响力近似中的偏差。
• 采用混合模型框架，在异质报告（诚实 vs. 启发式）条件下，利用经验风险和损失导数评估激励。

实验结果

研究问题

• RQ1 在众包线性回归设置中，基于影响力的奖励能否使诚实报告成为纳什均衡？
• RQ2 如何在顺序数据获取中高效地近似和计算影响力？
• RQ3 初始数据点对影响力估计和奖励公平性有何影响？
• RQ4 当部分参与者使用启发式而非诚实策略报告时，该激励机制的鲁棒性如何？
• RQ5 影响力近似在多大程度上准确反映了模型损失的真实变化？

主要发现

• 所提出的机制即使在少数参与者使用启发式策略的情况下，也能确保诚实报告作为博弈论均衡，前提是正确模型的固有误差低于启发式模型。
• 二阶影响力近似在所有测试数据集上，无论绝对误差还是相对绝对误差，均显著优于一阶方法。
• 诚实报告者与启发式报告者之间的奖励比例取决于诚实报告的比例以及模型的相对误差，当 p > 1/2 + (R2,2 - R1,1)/(2r) 时，诚实报告将被激励。
• M-包含与M-排除奖励方案在理论和实证上均表现出一致的对齐，且在不同批次大小和初始数据点下保持稳定的奖励比例。
• 当测试集由参与者报告构建时，该机制依然稳健，即使在混合报告策略下仍能维持诚实报告的激励。
• 在五个真实世界数据集（红葡萄酒、白葡萄酒、空气质量、社区与犯罪、帕金森病）上的实证结果证实了理论预测和影响力近似的准确性。