[论文解读] Respect for Human Autonomy in Recommender Systems

Lav R. Varshney|arXiv (Cornell University)|Sep 5, 2020

Motivation and Self-Concept in Sports参考文献 19被引用 21

一句话总结

本文提出了一种操作框架，通过利用实验心理学中的自我决定理论，将对人类自主性的尊重嵌入推荐系统。它引入了如自主功能指数（IAF）等心理测量工具，以衡量和量化自主性支持，从而实现基于数据的设计，以保持用户控制力和内在动机。

ABSTRACT

Recommender systems can influence human behavior in significant ways, in some cases making people more machine-like. In this sense, recommender systems may be deleterious to notions of human autonomy. Many ethical systems point to respect for human autonomy as a key principle arising from human rights considerations, and several emerging frameworks for AI include this principle. Yet, no specific formalization has been defined. Separately, self-determination theory shows that autonomy is an innate psychological need for people, and moreover has a significant body of experimental work that formalizes and measures level of human autonomy. In this position paper, we argue that there is a need to specifically operationalize respect for human autonomy in the context of recommender systems. Moreover, that such an operational definition can be developed based on well-established approaches from experimental psychology, which can then be used to design future recommender systems that respect human autonomy.

研究动机与目标

• 解决推荐系统通过强制性影响和减少用户控制而削弱人类自主性的伦理挑战。
• 识别一种适合整合到AI系统设计中的正式且可度量的人类自主性定义。
• 弥合尊重自主性等抽象伦理原则与推荐系统中实际、系统级实现之间的差距。
• 证明既有的心理测量指标可被重新用于评估和改进AI系统中尊重自主性的行为。

提出的方法

• 采用自我决定理论（SDT）作为理论基础，重点关注自主性作为核心心理需求。
• 利用自主功能指数（IAF）作为经过验证的心理测量工具，以衡量个体层面的自主性。
• 将用户群体中的IAF得分进行聚合，以评估系统层面的自主性支持，将个体特质转化为系统性能指标。
• 将此聚合指标用作推荐系统训练中的设计约束或目标，特别是在基于人类反馈的强化学习（RLHF）框架中。
• 将自主性测量整合到系统评估流程中，以确保伦理对齐，而不仅限于准确性和相关性。
• 提出一种基于反馈的设计方法，通过实证心理学测试评估系统干预对用户自主性的影响。

实验结果

研究问题

• RQ1 如何在推荐系统中正式地实现尊重人类自主性的抽象伦理原则？
• RQ2 既有的心理测量指标（如IAF）在多大程度上可衡量AI系统支持自主性的行为？
• RQ3 个体自主性评分的群体层面聚合能否作为评估系统层面尊重自主性的可靠且可扩展的指标？
• RQ4 将自主性作为设计目标（而非或除了传统指标如准确性和参与度）会产生何种影响？
• RQ5 如何调整基于人类反馈的强化学习，以将自主性作为可学习的奖励目标？

主要发现

• 自主功能指数（IAF）提供了一种经过验证、心理测量学上可靠的个体人类自主性测量方法，尤其适用于自我一致性、兴趣承担以及对控制的抵抗。
• 通过用户群体聚合IAF得分，可将个体心理特质转化为系统层面的指标，以评估推荐系统尊重用户自主性的情况。
• 降低用户自主性的推荐系统可能导致行为趋同，例如在预测文本系统中表现出更可预测且更缺乏创造性的语言使用。
• 将自主性作为设计目标的整合，可抵消因过度依赖AI驱动推荐而导致的用户技能退化和行为萎缩风险。
• 在最大化用户参与度与保持自主性之间存在明确的权衡，表明系统不应仅针对参与度指标进行优化。
• 所提出的框架可支持开发出通过契合胜任感、联结感以及尤其自主性等心理需求，来促进内在动机和自我决定的推荐系统。