[论文解读] Rationally Inattentive Inverse Reinforcement Learning Explains YouTube Commenting Behavior

William Hoiles, Vikram Krishnamurthy+1 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research被引用 11

一句话总结

本文提出了一种理性不注意的逆强化学习框架，用于建模和预测YouTube评论行为，整合了深度嵌入聚类以识别用户群体，贝叶斯显性偏好方法以检验效用最大化，并通过Rényi互信息约束来建模注意力限制。主要发现是，大多数用户群体的行为均与理性不注意的贝叶斯效用最大化一致，从而能够准确预测评论模式。

ABSTRACT

We consider a novel application of inverse reinforcement learning with behavioral economics constraints to model, learn and predict the commenting behavior of YouTube viewers. Each group of users is modeled as a rationally inattentive Bayesian agent which solves a contextual bandit problem. Our methodology integrates three key components. First, to identify distinct commenting patterns, we use deep embedded clustering to estimate framing information (essential extrinsic features) that clusters users into distinct groups.Second, we present an inverse reinforcement learning algorithm that uses Bayesian revealed preferences to test for rationality: does there exist a utility function that rationalizes the given data, and if yes, can it be used to predict commenting behavior? Finally, we impose behavioral economics constraints stemming from rational inattention to characterize the attention span of groups of users. The test imposes a R{\\'e}nyi mutual information cost constraint which impacts how the agent can select attention strategies to maximize their expected utility. After a careful analysis of a massive YouTube dataset, our surprising result is that in most YouTube user groups, the commenting behavior is consistent with optimizing a Bayesian utility with rationally inattentive constraints. The paper also highlights how the rational inattention model can accurately predict commenting behavior. The massive YouTube dataset and analysis used in this paper are available on GitHub and completely reproducible.

研究动机与目标

• 将YouTube观众的评论行为建模为在信息约束下优化效用的理性不注意贝叶斯代理。
• 利用大规模YouTube数据集上的深度嵌入聚类，识别不同的用户评论模式。
• 检验观察到的评论行为是否能在理性不注意约束下由效用函数合理解释。
• 通过整合行为经济学与逆强化学习，开发评论行为的预测模型。
• 通过在GitHub上公开发布数据集和分析流程，确保数据和分析的完全可复现性。

提出的方法

• 使用深度嵌入聚类将YouTube视频划分为非重叠的片段，并基于观看和评论模式定义用户群体。
• 应用贝叶斯显性偏好方法，检验在理性不注意约束下是否存在能合理解释观察到的用户行为的效用函数。
• 施加Rényi互信息成本约束以建模有限的注意力跨度，将评论行为建模为受限的上下文Bandit问题。
• 从观察到的动作选择策略πk(a|x)和后验状态分布中估计代理的注意力函数αk(s|x)和选择函数ηk(a|s)。
• 利用观察到的后验分布pk(x|a)推断信号集，并在无需真实注意力函数知识的情况下，构建注意力和选择函数的一致估计。
• 采用基于Afriat型条件的检验方法，验证理性不注意，确保与有限理性及信息成本约束的一致性。

实验结果

研究问题

• RQ1 不同用户群体的YouTube评论行为是否能在理性不注意约束下由贝叶斯效用函数合理解释？
• RQ2 Rényi互信息约束在多大程度上能准确建模YouTube观众的注意力限制？
• RQ3 与替代模型相比，理性不注意的逆强化学习模型在预测实际评论行为方面表现如何？
• RQ4 在不同视频类别和观看量水平下，用户参与度（评论数和评分）是否存在一致的模式？
• RQ5 深度嵌入聚类能否在大规模YouTube数据中有效识别基于评论行为的有意义用户群体？

主要发现

• 在大多数YouTube用户群体中，评论行为与在理性不注意约束下优化贝叶斯效用函数的行为一致，表明用户决策中存在有限理性。
• 理性不注意模型能准确预测评论行为，在不同视频类别和观看量水平下均表现出强大的预测能力。
• 游戏类与非游戏类视频类别的用户群体表现出不同的注意力和参与模式，平均每类子视频的互动用户数在8至4596人之间。
• 观察到的注意力函数αk(s|x)是真实注意力函数ρk(r|x)的噪声版本，且信息量更弱，证实了模型对部分可观测性的鲁棒性。
• 该框架在80%的用户群体中成功识别出效用最大化行为，验证了在信息约束下贝叶斯显性偏好检验的有效性。
• 完整的YouTube数据集和分析流程已通过GitHub公开，确保了结果的完全可复现性。