[论文解读] What are you optimizing for? Aligning Recommender Systems with Human Values

Jonathan Stray, Ivan Vendrov+3 more|arXiv (Cornell University)|Jul 22, 2021

Recommender Systems and Techniques参考文献 34被引用 24

一句话总结

本文通过案例研究回顾了推荐系统如何与人类价值观对齐，识别了当前的价值观工程实践，并提出四种更高层次的方法，以实现更具参与性和更稳健的价值对齐。

ABSTRACT

We describe cases where real recommender systems were modified in the service of various human values such as diversity, fairness, well-being, time well spent, and factual accuracy. From this we identify the current practice of values engineering: the creation of classifiers from human-created data with value-based labels. This has worked in practice for a variety of issues, but problems are addressed one at a time, and users and other stakeholders have seldom been involved. Instead, we look to AI alignment work for approaches that could learn complex values directly from stakeholders, and identify four major directions: useful measures of alignment, participatory design and operation, interactive value learning, and informed deliberative judgments.

研究动机与目标

• 通过展示推荐目标受情景影响且带有价值判断，来激发本研究。
• 记录真实系统为体现多样性、公平、福祉和事实准确性等价值而进行修改的案例研究。
• 指出当前价值对齐实践的局限性，并倡导更具参与性、可扩展的方法。
• 提出受 AI 对齐启发的高层次策略，以在推荐系统中学习和编码复杂的人类价值观。

提出的方法

• 分析大型推荐系统的案例研究，确定三阶段模式：内容类别的识别、通过标注数据进行实施、以及对推荐的调整。
• 综合 AI 对齐文献的见解，提出上层方法：有用的对齐度量、参与式设计、互动式价值学习以及知情的审议性判断。
• 定义并讨论对齐度量，以及相对于被动、逐一修正的做法，参与式和互动式方法的重要性。

实验结果

研究问题

• RQ1 人类价值观目前如何在推荐系统中被识别、操作化和实施？
• RQ2 AI 对齐中的哪些高层次方法可以改善推荐与人类价值观的一致性？
• RQ3 参与式设计和互动式价值学习如何解决推荐对齐中的可扩展性和利益相关者包容性？

主要发现

• 案例研究显示一个共通的流程：识别相关内容概念，通过分类器或度量进行操作化，并相应地调整推荐。
• 在处理诸如标题党、毒性或错误信息等复杂概念时，基于人类标签训练的学习分类器往往优于人工设计的度量。
• 当前做法是被动且规模受限，往往偏向系统设计者的价值观而非更广泛的利益相关者意见。
• 四个有用的高层次改进方向是：有用的对齐度量、参与式设计与运营、互动式价值学习，以及知情的审议性判断。
• 参与式设计与多利益相关者方法（例如带投票的在线匹配）可以改善分配结果和感知的公平性。
• 交互式、回顾性和审议性评估（例如后悔测试）可以帮助在短期优化与长期福祉之间取得平衡。