[论文解读] PreferenceNet: Encoding Human Preferences in Auction Design with Deep Learning

Neehar Peri, Michael J. Curry+2 more|arXiv (Cornell University)|Jun 6, 2021

Auction Theory and Applications参考文献 39被引用 8

一句话总结

PreferenceNet 是一种深度学习框架，它扩展了 RegretNet，通过使用人类提供的理想分配示例来编码社会可取的拍卖约束（如公平性）。通过在调查中获取的人类偏好数据进行训练，它能够有效捕捉细微的、现实世界中的偏好，同时保持策略无关性并实现具有竞争力的收益表现。

ABSTRACT

The design of optimal auctions is a problem of interest in economics, game theory and computer science. Despite decades of effort, strategyproof, revenue-maximizing auction designs are still not known outside of restricted settings. However, recent methods using deep learning have shown some success in approximating optimal auctions, recovering several known solutions and outperforming strong baselines when optimal auctions are not known. In addition to maximizing revenue, auction mechanisms may also seek to encourage socially desirable constraints such as allocation fairness or diversity. However, these philosophical notions neither have standardization nor do they have widely accepted formal definitions. In this paper, we propose PreferenceNet, an extension of existing neural-network-based auction mechanisms to encode constraints using (potentially human-provided) exemplars of desirable allocations. In addition, we introduce a new metric to evaluate an auction allocations' adherence to such socially desirable constraints and demonstrate that our proposed method is competitive with current state-of-the-art neural-network based auction designs. We validate our approach through human subject research and show that we are able to effectively capture real human preferences. Our code is available at https://github.com/neeharperi/PreferenceNet

研究动机与目标

• 解决缺乏对公平性、多样性等社会可取拍卖约束的标准化、形式化定义的问题。
• 开发一种方法，利用数据将人类偏好（而非任意的形式化定义）编码进拍卖机制。
• 在整合伦理和公平性约束的同时，保持策略无关性和收益优化。
• 验证人类对公平性的偏好是否可学习且足够一致，足以用于训练有效的拍卖机制。
• 提出一种新的评估指标，用于衡量拍卖结果对人类定义约束的符合程度。

提出的方法

• 扩展基于神经网络的拍卖机制 RegretNet，将人类提供的理想分配示例作为训练信号引入。
• 使用两次人类受试者调查：一次用于评估在既定标准下人类对公平性的判断一致性（n=140），另一次用于在无预设公平性定义的情况下收集成对偏好（n=345）。
• 应用 probit 模型模拟人类偏好数据中的噪声，使用正态累积分布函数（Gaussian CDF）建模决策边界附近的标签不确定性。
• 在调查数据上训练 PreferenceNet，学习与群体偏好一致的分配规则，使用梯度下降同时优化收益和约束符合度。
• 引入一种新的评估指标，用于衡量机制分配结果与学习到的人类偏好之间的接近程度。
• 采用主成分分析（PCA）和 L2 距离分析，将 PreferenceNet 的分配与标准公平性模型（如 TVF、熵）进行比较，验证其与人类直觉的一致性。

实验结果

研究问题

• RQ1 能否通过调查可靠地获取人类对拍卖中公平性的偏好，并用于训练机器学习模型？
• RQ2 与形式化度量相比，基于深度学习的拍卖机制（如 PreferenceNet）在捕捉和实施人类定义的公平性约束方面表现如何？
• RQ3 人类对公平性的判断在多大程度上存在噪声？在训练过程中如何建模并缓解这种噪声？
• RQ4 PreferenceNet 在编码复杂且非形式化的社会偏好时，是否仍能保持策略无关性与收益表现？
• RQ5 在与标准公平性模型（如总变差公平性、熵基公平性）的比较中，PreferenceNet 生成的分配在多大程度上与人类偏好一致？

主要发现

• 人类对公平性的偏好具有噪声，但与正态分布高度相关，尤其是在决策边界附近，这支持在训练中使用概率建模。
• PreferenceNet 能够成功从成对比较中捕捉细微的人类偏好，即使未对参与者进行形式化公平性定义的引导。
• 该模型实现了低遗憾，并在收益和策略无关性方面达到或超过当前最先进的神经拍卖机制性能。
• 人类偏好与总变差公平性（TVF）和基于熵的公平性模型最为相似，但并非完全一致，表明人类直觉更为复杂。
• 通过在 20,000 个抽样出价的 L2 距离分析证实，PreferenceNet 的分配在单位需求和可加性拍卖设置下与人类偏好在统计上无法区分。
• 该方法能有效利用真实人类数据编码社会可取约束，表明偏好获取可作为替代任意形式化公平性定义的可行方案。