[论文解读] Privacy-Preserving Contextual Bandits.

Awni Hannun, Brian Knott+2 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Bandit Algorithms Research被引用 4

一句话总结

该论文提出了一种保护隐私的上下文Bandit算法，使多个参与方可协作训练模型，而无需共享敏感特征、奖励或动作。通过结合安全多方计算与epsilon-greedy探索机制，该方法在分布式环境中确保差分隐私的同时最大化累积奖励。

ABSTRACT

Contextual bandits are online learners that, given an input, select an arm and receive a reward for that arm. They use the reward as a learning signal and aim to maximize the total reward over the inputs. Contextual bandits are commonly used to solve recommendation or ranking problems. This paper considers a learning setting in which multiple parties aim to train a contextual bandit together in a private way: the parties aim to maximize the total reward but do not want to share any of the relevant information they possess with the other parties. Specifically, multiple parties have access to (different) features that may benefit the learner but that cannot be shared with other parties. One of the parties pulls the arm but other parties may not learn which arm was pulled. One party receives the reward but the other parties may not learn the reward value. This paper develops a privacy-preserving contextual bandit algorithm that combines secure multi-party computation with a differential private mechanism based on epsilon-greedy exploration in contextual bandits.

研究动机与目标

• 使多个参与方可协作训练上下文Bandit模型，而无需暴露私有特征、动作或奖励。
• 在多方环境中，当数据无法共享时，确保探索过程中的差分隐私。
• 确保即使在贡献特征的情况下，任何单一参与方也无法知晓被拉动的臂或奖励值。
• 在强制执行严格隐私约束的同时，维持较高的学习性能（总奖励）。
• 将安全多方计算与差分隐私整合到上下文Bandit框架中，适用于现实世界中的推荐与排序应用。

提出的方法

• 该算法使用安全多方计算（MPC）计算模型更新，而无需在各方之间暴露输入或输出。
• 各方贡献特征给模型，但任何一方都无法知晓其他方的特征或所选的臂。
• 采用epsilon-greedy探索策略，并通过差分隐私机制对探索决策进行扰动，以保护动作选择。
• 奖励由一方收集，但不会向其他方披露；仅使用差分隐私信号进行模型更新。
• 该方法确保模型从所有参与方的数据中学习，同时满足(epsilon, delta)-差分隐私保证。
• 系统设计可扩展至具有异构、不可共享特征集的多方，同时保持隐私与实用性。

实验结果

研究问题

• RQ1 如何使多方在不共享私有特征的情况下协作训练上下文Bandit模型？
• RQ2 哪些机制可确保任何一方都无法知晓被拉动的臂或奖励值？
• RQ3 差分隐私能否在上下文Bandit环境中与安全多方计算有效结合？
• RQ4 该隐私保护机制与非私有的基线相比，对累积奖励有何影响？
• RQ5 在此多方环境中，隐私（epsilon）与学习性能之间的权衡如何？

主要发现

• 所提方法在保护所有参与方差分隐私的同时，实现了较高的累积奖励。
• 安全多方计算的使用可防止任何一方获知关于其他方特征、动作或奖励的敏感信息。
• 将epsilon-greedy探索与差分隐私结合，确保探索决策具有隐私性并受到统计保护。
• 即使特征不可共享且各方不可信，该算法仍能保持模型实用性。
• 该系统可扩展至具有异构数据的多方，确保隐私而不牺牲学习性能。
• 实验结果证实，该方法在实现具有竞争力的学习结果的同时，提供了强有力的隐私保障。