[论文解读] Rethinking Incentives in Recommender Systems: Are Monotone Rewards Always Beneficial?

Yao Fan, Chuanhao Li+6 more|arXiv (Cornell University)|Jun 13, 2023

Auction Theory and Applications被引用 4

一句话总结

本文挑战了推荐系统中单调奖励机制始终提升社会福利的假设，表明其固有地导致一部分福利损失，因创作者过度集中于热门内容。本文提出向后奖励机制（BRMs），虽放弃单调性，但通过将博弈结构化为潜在博弈，确保稳定且福利最优的均衡。实证结果表明，BRMs 在促进公平与整体福利方面显著优于标准机制。

ABSTRACT

The past decade has witnessed the flourishing of a new profession as media content creators, who rely on revenue streams from online content recommendation platforms. The reward mechanism employed by these platforms creates a competitive environment among creators which affect their production choices and, consequently, content distribution and system welfare. It is thus crucial to design the platform's reward mechanism in order to steer the creators' competition towards a desirable welfare outcome in the long run. This work makes two major contributions in this regard: first, we uncover a fundamental limit about a class of widely adopted mechanisms, coined Merit-based Monotone Mechanisms, by showing that they inevitably lead to a constant fraction loss of the optimal welfare. To circumvent this limitation, we introduce Backward Rewarding Mechanisms (BRMs) and show that the competition game resultant from BRMs possesses a potential game structure. BRMs thus naturally induce strategic creators' collective behaviors towards optimizing the potential function, which can be designed to match any given welfare metric. In addition, the BRM class can be parameterized to allow the platform to directly optimize welfare within the feasible mechanism space even when the welfare metric is not explicitly defined.

研究动机与目标

• 识别广泛使用的基于能力的单调奖励机制（M³）在内容创作者竞争中优化社会福利的根本局限性。
• 解决M³机制固有地导致常数比例福利损失的问题，因抑制了小众内容创作。
• 设计一类新型奖励机制——向后奖励机制（BRMs），在保持基于能力激励的同时实现最优社会福利结果。
• 通过BRMs的参数化子类实现社会福利的实用化、实证优化，即使福利度量未被显式定义。

提出的方法

• 引入内容创作者竞争（C³）博弈框架，以建模推荐系统中创作者的战略行为。
• 将基于能力的单调机制（M³）定义为一类广泛使用的奖励机制，其特征为基于能力和单调性。
• 提出向后奖励机制（BRMs），放宽单调性要求但保留基于能力的激励，确保诱导出的博弈为潜在博弈。
• 在BRMs中构建一个潜在函数，可与任何给定的社会福利度量对齐，确保均衡结果优化福利。
• 开发BRMs的参数化子类，以支持使用基于梯度的方法进行社会福利的实证优化，即使缺乏明确的福利定义。
• 基于MovieLens-1m构建模拟环境，评估BRMs在不同用户群体分布和成本结构下相对于M³机制的表现。

实验结果

研究问题

• RQ1 现有奖励机制中的单调性属性是否必然导致内容推荐系统中的福利损失？
• RQ2 能否设计一种奖励机制，在保持基于能力激励的同时确保系统收敛至福利最优均衡？
• RQ3 是否可能构建一类机制，使得即使福利度量未被显式知晓，也能实现实证的社会福利优化？
• RQ4 BRMs在促进不同用户群体间公平用户效用方面，与标准M³机制相比表现如何？
• RQ5 创作者成本结构对BRMs实现福利改进效果的影响是什么？

主要发现

• 基于能力的单调机制（M³）在自然场景下不可避免地导致常数比例的福利损失，原因在于创作者过度集中于主流用户群体。
• 向后奖励机制（BRMs）构成潜在博弈，确保稳定且可预测地收敛至优化潜在函数的均衡结果。
• BRMs中的潜在函数可显式设计以匹配任何给定的社会福利度量，使创作者的战略行为与系统整体福利最大化对齐。
• 实证评估表明，BRCM opt及其他BRM变体在合成环境和基于MovieLens-1m的环境中，社会福利始终显著优于M³机制。
• BRMs显著提升了少数群体和小众用户群体的平均效用，同时保持主流群体的满意度，从而实现更公平的用户效用分布。
• 尽管理论最优，BRCM ∗ 在实际中表现略逊，因随机动力学阻碍其收敛至全局最优，凸显了算法2在实证机制优化中的价值。