[论文解读] The Challenge of Understanding What Users Want: Inconsistent Preferences and Engagement Optimization

Jon Kleinberg, Sendhil Mullainathan+1 more|arXiv (Cornell University)|Feb 23, 2022

Digital Marketing and Social Media被引用 9

一句话总结

本文挑战了用户参与度可靠反映用户偏好的假设，提出一个形式化模型，其中不一致、时间不一致的偏好导致参与度与实际用户效用偏离。研究表明，根据内容流形的结构，单纯优化参与度可能降低用户福祉；并提供了一个框架，通过整合行为心理学与算法优化，使平台设计与用户福祉保持一致。

ABSTRACT

Online platforms have a wealth of data, run countless experiments and use industrial-scale algorithms to optimize user experience. Despite this, many users seem to regret the time they spend on these platforms. One possible explanation is misaligned incentives: platforms are not optimizing for user happiness. We suggest the problem runs deeper, transcending the specific incentives of any particular platform, and instead stems from a mistaken foundational assumption: To understand what users want, platforms look at what users do. Yet research has demonstrated, and personal experience affirms, that we often make choices in the moment that are inconsistent with what we actually want. In this work, we develop a model of media consumption where users have inconsistent preferences. We consider a platform which simply wants to maximize user utility, but only observes user engagement. We show how our model of users' preference inconsistencies produces phenomena that are familiar from everyday experience, but difficult to capture in traditional user interaction models. A key ingredient in our model is a formulation for how platforms determine what to show users: they optimize over a large set of potential content (the content manifold) parametrized by underlying features of the content. Whether improving engagement improves user welfare depends on the direction of movement in the content manifold: for certain directions of change, increasing engagement makes users less happy, while in other directions, increasing engagement makes users happier. We characterize the structure of content manifolds for which increasing engagement fails to increase user utility. By linking these effects to abstractions of platform design choices, our model thus creates a theoretical framework and vocabulary in which to explore interactions between design, behavioral science, and social media.

研究动机与目标

• 解决在线平台上高用户参与度与低用户满意度之间日益扩大的脱节问题。
• 挑战用户建模中的基础假设，即观察到的行为（如点击、停留时间）能揭示真实偏好。
• 构建一个考虑时间不一致偏好的用户行为形式化模型，例如当下偏见和冲动选择。
• 阐明在何种条件下，即使平台旨在最大化用户幸福感，优化参与度也无法提升用户效用。
• 提供一个理论框架，将平台设计、内容流形结构与行为科学联系起来，以实现更合乎伦理且高效的优化。

提出的方法

• 引入用户偏好的双自我模型：短视、冲动的“系统1”与反思、长期的“系统2”自我。
• 将内容建模为依赖于特征的连续“内容流形”，平台决策对应于在该流形上的移动。
• 将用户效用定义为内容轨迹的函数，而非仅依赖参与度，并推导出参与度上升而效用下降的条件。
• 通过数学特征刻画，识别出内容流形上导致参与度优化造成用户伤害的“不良方向”。
• 提出平台应结合显式用户满意度调查等补充数据，与行为数据共同使用，以纠正偏好不一致问题。
• 将该模型应用于分析现实世界现象，如长时间参与后用户突然流失，以及尽管会话时间长但效用低的情况。

实验结果

研究问题

• RQ1 为何用户在长时间使用平台后常报告后悔，尽管参与度很高？
• RQ2 在何种条件下，提升用户参与度反而导致用户效用下降？
• RQ3 内容流形的几何结构如何影响参与度与用户福祉之间的对齐程度？
• RQ4 平台可采用哪些设计与数据整合策略，更好地实现参与度优化与实际用户福祉的一致？
• RQ5 时间不一致偏好以何种方式破坏了在线平台中揭示偏好模型的有效性？

主要发现

• 当平台调整使内容沿内容流形上的‘不良方向’移动时，即使参与度上升，参与度优化仍可能降低用户效用。
• 由于偏好不一致，用户可能表现出长时间会话但效用低下，此时冲动行为（系统1）会压倒长期偏好（系统2）。
• 在持续参与度上升后出现的用户突然流失，可由偏好不一致解释：用户最终会拒绝此前无意识消费的内容。
• 参与度与效用之间的对齐程度取决于内容变化在内容流形中的方向，而不仅仅是参与度水平。
• 当内容流形中存在参与度与效用负相关的区域时，仅以参与度为目标优化的平台可能损害用户。
• 当参与度与效用出现偏离时，显式用户福祉度量（如调查）是纠正行为数据偏差所必需的。